다차원 공간에서 함수의 절대 최소 (최대)를 검색하기위한 경사 하강 기반 기술이 있습니까?

주어진 함수의 로컬 최소 (최대)를 찾을 수있는 그라디언트 하강 알고리즘에 익숙합니다.

함수가 여러 국소 극한을 갖는 절대 최소값 (최대)을 찾을 수있는 경사 하강의 수정이 있습니까?

절대 극한을 찾기위한 국소 극한을 찾을 수있는 알고리즘을 향상시키는 일반적인 기술이 있습니까?

나는 당신이 제한되지 않은 최소화에 대해 이야기하고 있다고 가정합니다. 특정 문제 구조를 고려 중인지 질문에 명시해야합니다. 그렇지 않으면 대답은 '아니오'입니다.

먼저 신화를 풀어야합니다. 고전적인 경사 하강 방법 ( 가장 가파른 하강 방법 이라고도 함 )은 로컬 최소화기를 찾도록 보장되지도 않습니다. 1 차 임계점, 즉 그래디언트가 사라지는 임계점을 찾으면 중지됩니다. 최소화되는 특정 기능과 시작점에 따라 안 장점 또는 글로벌 최대 값으로 끝날 수 있습니다!

인스턴스에 대한 고려 상기 초기 포인트 ( X 0 , Y 0 ) : = ( 1 , 0 ) . 최대 경사 방향은 - ∇ F ( 1 , 0 ) = ( - 2 , 0 ) . 정확한 라인 검색으로 한 단계의 방법으로 ( 0 , 0 $f(x,y) = x^2 - y^2$$(x_0,y_0) := (1,0)$$-\nabla f(1,0) = (-2,0)$$(0,0)$그래디언트가 사라지는 곳. 아아, 안장입니다. 2 차 최적 조건을 조사하여 실현할 수 있습니다. 그런데 함수 상상 . 여기서, ( 0 , 0 ) 은 여전히 ​​안 장점이지만, 수치 적으로, 2 차 조건이 말해주지 않을 수 있습니다. 일반적으로 Hessian ∇ 2 f ( x ∗ , y ∗ ) 의 고유 값이 − 10 $f(x,y) = x^2 - 10^{-16} y^2$$(0,0)$$\nabla^2 f(x^*,y^*)$ . 어떻게 읽습니까? 음의 곡률 또는 수치 오류입니까? 방법에 대한+ (10) - (16) ?$-10^{-16}$$+10^{-16}$

지금 같은 기능을 고려

이 함수는 완벽하게 매끄럽지 만 초기 점이 이면 알고리즘이 전역 최대화에서 멈 춥니 다. 그리고 2 차 최적 조건을 확인하면 알 수 없습니다! 여기서 문제는 일부 로컬 최소화 프로그램이 전역 최대화 프로그램이라는 것입니다!$x_0 = -2$

이제는 거의 모든 그래디언트 기반 최적화 방법이 설계에 의해 어려움을 겪습니다. 귀하의 질문은 실제로 글로벌 최적화 에 관한 것 입니다. 다시 말하지만, 대답은 '아니오'입니다. 전역 최소화 기가 식별되도록 방법을 수정하는 일반적인 방법은 없습니다. 알고리즘이 값을 반환하고 전역 최소화 프로그램이라고 말하면 어떻게 사실인지 확인 하시겠습니까?

전역 최적화에는 메소드 클래스가 있습니다. 일부는 무작위 화를 도입합니다. 일부는 다중 시작 전략을 사용합니다. 어떤 사람들은 문제의 구조를 이용하지만 특별한 경우를위한 것입니다. 글로벌 최적화에 관한 책을 줍습니다. 당신은 그것을 즐길 것입니다.

귀하의 질문에 대한 답이 하나도 없을 것입니다. 그러나 시뮬레이션 어닐링 알고리즘 또는 Markov chain Monte Carlo (MCMC) 방법에 의존하는 다른 접근 방법 을 살펴볼 수 있습니다 . 이들은 또한 경사 하강과 같은 로컬 방법과 결합 될 수 있습니다.

"신경망의 글로벌 최적화"에 대한 많은 참조가 있습니다. 이 기법은 시뮬레이션 어닐링과 유사하다 [다른 답변 참조]. 기본 아이디어는 무작위 또는 체계적으로 샘플링 된 다양한 가중치 시작점에서 시작하여 네트워크 경사 하강을 다시 시작하는 것입니다. 그래디언트 디센트의 각 결과는 "샘플"과 같습니다. 더 많은 샘플이 수집 될수록, 특히 목표 함수가 연속적, 차별화 가능한 등의 의미에서 "잘 동작"하는 경우 샘플 중 하나가 전체 최적 일 확률이 높아집니다.

온라인 심판

[1] Hamm et al에 의한 신경망 가중치의 글로벌 최적화

[2] 신경망 훈련 Voglis / Lagaris에 대한 글로벌 최적화 접근법

[3] Global Optimization Pinter를 이용한 인공 신경망 교정

[4] 결정 론적 하이브리드 접근법을 이용한 신경망의 글로벌 최적화 Beliakov

[5] 신경망 훈련을위한 글로벌 최적화 Shang / Wah

일반적으로 다변량 비 볼록 함수를 최적화하는 것은 계산 상 어렵습니다. 경도는 다른 풍미 (암호화, NP-hard)로 제공됩니다. 이를 보는 한 가지 방법은 혼합 모델 (구 아시안 또는 HMM 혼합)은 배우기가 어렵지만, 가능성을 효율적으로 극대화 할 수 있다면 쉽게 (*) 가능하다는 것입니다. HMM 학습의 경도에 대한 결과는 http://alex.smola.org/journalclub/AbeWar92.pdf http://link.springer.com/chapter/10.1007%2F3-540-45678-3_36 http : //를 참조 하십시오 . www.math.ru.nl/~terwijn/publications/icgiFinal.pdf

(*) 모듈로 일반적인 비 퇴행성 및 식별성 조건

Dominique에 동의하지 않아야합니다. 1980 년대 중반 hajek은 특정 엄격한 조건에서 볼록하지 않은 문제를 해결하는 것이 전 세계 최소 수준에 도달 할 수 있음을 보여 주었다 : http://dx.doi.org/10.1287/moor.13.2.311