수치 최적화 방법 테스트 : Rosenbrock 및 실제 테스트 기능

비 파생 최적화 프로그램에는 두 가지 주요 테스트 기능이있는 것 같습니다.

• Rosenbrock 기능 과 같은 1 개의 라이너 , 시작 지점
• 보간 기와 함께 실제 데이터 포인트 세트

10d Rosenbrock을 실제 10d 문제와 비교할 수 있습니까?
다양한 방법으로 비교할 수 있습니다. 로컬 최소의 구조를 설명
하거나 Rosenbrock 및 일부 실제 문제에 대해 최적화 프로그램 ABC를 실행하십시오.
그러나이 두 가지 모두 어려워 보입니다.

(아마도 이론가와 실험자는 아주 다른 문화 일 뿐이므로 키메라를 요구하고 있습니까?)

또한보십시오:

• scicomp.SE 질문 : 알고리즘 / 루틴 테스트를위한 좋은 데이터 세트 / 테스트 문제를 어디서 얻을 수 있습니까?
• 후커, "휴리스틱 테스트 : 모든 것이 잘못되었다" 는 격렬한 경쟁이다. "경쟁에 중점을 둔다는 것은 어떤 알고리즘이 더 낫지 만 그 이유는 아닌지 알려준다."

예를 들어 Ackley에서 맨 위 행은 SBPLX가 최고이며 PRAXIS가 끔찍하다는 것을 보여줍니다. Schwefel의 오른쪽 하단 패널에는 5 번째 임의 시작점에서 최소값을 찾는 SBPLX가 표시됩니다.

전체적으로 BOBYQA는 1에서, PRAXIS는 5에서, SBPLX (~ 재시작이있는 Nelder-Mead)는 13 개 중 7 가지 테스트 기능 중 Powersum을 던졌습니다. YMMV! 특히 Johnson은 "글로벌 최적화에서 함수 값 (ftol) 또는 매개 변수 공차 (xtol)를 사용하지 말 것을 권합니다."라고 말합니다.

결론 : 모든 돈을 한 마리의 말이나 하나의 테스트 기능에 두지 마십시오.

Rosenbrock과 같은 간단한 함수는 새로 작성된 알고리즘을 디버그 및 사전 테스트하는 데 사용됩니다.이 알고리즘은 구현 및 실행이 빠르며 표준 문제를 해결할 수없는 방법은 실제 문제에서 제대로 작동하지 않을 수 있습니다.

값 비싼 함수에 대한 미분 없는 방법에 대한 최근 철저한 비교는 미분 없는 최적화 : 알고리즘 검토 및 소프트웨어 구현 비교를 참조하십시오 . LM Rios, NV Sahinidis-doi 10.1007 / s10898-012-9951-y Journal of Global Optimization, 2012. (제공되는 웹 페이지 : http://archimedes.cheme.cmu.edu/?q=dfocomp )

Rosenbrock 함수와 같은 합성 테스트 케이스의 장점은 기존의 문헌과 비교할 수 있다는 것과 커뮤니티에서 그러한 테스트 케이스에 대해 좋은 방법이 어떻게 작동하는지에 대한 감각이 있다는 것입니다. 모든 사람이 자신의 테스트 케이스를 사용했다면 어떤 방법이 효과가 있고 그렇지 않은지를 합의하는 것이 훨씬 더 어려울 것입니다.

(이 토론이 끝날 무렵에 내 이의가 제기되지 않기를 바랍니다. 저는 여기에 처음이므로 위반 한 경우 알려주십시오!)

진화 알고리즘에 대한 테스트 기능은 이제 2 년 또는 3 년 전보다 훨씬 더 복잡하다. 진화론 적 계산에 관한 (최근) 2015 회의와 같은 컨퍼런스에서 사용되는 제품군에서 볼 수 있듯이. 보다:

http://www.cec2015.org/

이 테스트 스위트에는 변수 사이에 여러 비선형 상호 작용이있는 함수가 포함되었습니다. 변수의 수는 1000 개가 될 수 있으며 가까운 시일 내에 증가 할 것으로 생각합니다.

가장 최근의 또 다른 혁신은 "블랙 박스 최적화 경쟁"입니다. 참조 : http://bbcomp.ini.rub.de/

알고리즘은 점 x에 대해 값 f (x)를 쿼리 할 수 ​​있지만 그래디언트 정보를 얻지 못하며 특히 목적 함수의 분석 형식에 대한 가정을 할 수 없습니다.

어떤 의미에서 이것은 "실제 문제"라고하지만 조직적이고 객관적인 환경에서 언급 한 것에 더 가깝습니다.

두 세계를 모두 활용할 수 있습니다. NIST는 예상되는 결과와 불확실성과 함께이 10도 정치에 맞는 것과 같은 최소화 에 문제 가 있습니다. 물론, 이러한 값이 실제 최상의 솔루션임을 증명하거나 다른 지역 최소값의 존재와 속성이 제어 된 수학적 표현보다 더 어렵습니다.