최적화를위한 휴리스틱

금요일이기 때문에 CW 질문을 할 시간입니다. 최적화 문제에서 널리 사용되는 휴리스틱을 찾고 있습니다. 범위를 '이론 친화적'휴리스틱으로 제한하기 위해 규칙은 다음과 같습니다 (일부 임의, 일부는 아님)

• 많은 매개 변수가없고 구체적인 실행 시간이있는 잘 정의 된 방법이어야합니다 (반복 당)
• 그것과 관련된 몇 가지 알려진 이론적 결과를 가져야합니다 (수렴 률, 근사치, 고정 특성 등).
• 광범위한 적용 성과 최소한 하나의 플래그십 응용 프로그램이 있어야합니다. 여기에서 선택한 방법 또는 몇 가지 중 하나입니다.
• 그것은 자연에서 영감을 얻어서는 안됩니다 (이것은 경솔한 반대처럼 보이지만 유전 알고리즘, 개미 식민지 최적화 등을 배제하려고합니다).

답은 이상적으로 다음 형식이어야합니다. 예는 다음과 같습니다.

이름 : 교번 최적화

목표 : (일반적으로 볼록하지 않은) 기능을 최소화$f(x,y)$

조건 : 관련 기능$g(x) = \min_y f(x,y)$그리고 는 볼록합니다$h(y) = \min_x f(x,y)$

알고리즘 : $i^{\text{th}}$ 반복은 x_i, y_i로 시작합니다 $x_i, y_i$.

1. $x_{i+1} \leftarrow \arg \min_x f(x, y_i)$
2. $y_{i+1} \leftarrow \arg\min_y f(x_{i+1}, y)$

가장 잘 알려진 응용 프로그램 : $k$ 평균 반복 쌍을 의미합니다.

이론 : meme 에 대한 알려진 결과 , 프레임 워크의 글로벌 최적 성을위한 일반적인 충분한 조건$k$

추신 당신은 당신의 대답이 내가 계획하고있는 알고리즘 세미나에서 강의로 끝나는 것을 알 수 있습니다 :)

이름 : 반복 가중 최소 제곱
목표 : , , , 조건 : 사례에 따라 알고리즘 : 명백한-가중치 수정, 2 차 문제 해결, 가중치 재 계산 가장 잘 알려진 앱 : 기하 중앙값, M- 추정기, 표준, 압축 감지 이론 : 사례별로 검증$\sum w(\theta)F(\theta)^2$$\theta\in R^n$$F(\theta) \in R^m$$w(\theta)\in R$


$L_p$