평가할 수있는 알려지지 않은 기능을 최적화 하시겠습니까?

알 수없는 함수 주어지면 도메인의 어느 시점에서나 그 값을 평가할 수는 있지만 표현할 수는 없습니다. 다시 말해, f 는 우리에게 블랙 박스와 같습니다.$f:\mathbb R^d \to \mathbb R$$f$

의 최소화기를 찾는 문제의 이름은 무엇입니까 ? 어떤 방법이 있습니까?$f$

방정식 대한 해를 구하는 문제의 이름은 무엇입니까 ? 어떤 방법이 있습니까?$f(x)=0$

두 가지 문제에 상기에서, F의 어떤 평가에 보간이나 착용감 좋은 아이디어이다 함수 사용 g θ를 하고 파라미터 공지 양식 θ g θ 를 최소화 하거나 근을 찾는가?$(x_i, f(x_i)), i=1, \dots, n$$g_\theta$$\theta$$g_\theta$

감사합니다.

함수 평가 만 사용하고 미분은 사용하지 않는 방법을 미분없는 최적화 방법 이라고 합니다 . 그들에 대한 많은 문헌이 있으며 최적화에 관한 대부분의 책에서 이러한 방법에 대한 장을 찾을 수 있습니다. 일반적인 접근 방식은 다음과 같습니다.

• 함수가 매끄럽고 볼록한 것으로 합리적으로 기대할 수있는 경우 유한 차이로 기울기를 근사화하는 것;
• Simulated Annealing과 같은 Monte Carlo 방법;
• 유전자 알고리즘.

먼저 시작해야한다고 생각합니다. 실제 매개 변수 블랙 박스 최적화 벤치마킹 (BBOB 2016)에 대한 GECCO 워크샵 http://numbbo.github.io/workshops/index.html

이전 경쟁에서 사용되었고 공통적으로 비교 된 많은 다른 알고리즘을 찾을 수 있습니다. 다른 곳에서 시작하면 그 방법과 알고리즘이 그 주장에 대한 실제 증거가 거의없는 다른 방법보다 더 우수하다고 주장하는 수백 편의 논문에 곧 빠져들게됩니다.

최근까지도 솔직히 말해서 합리적 비교를위한 틀을 마련하기 위해 노력한 것은 INRIA, GECCO 및 많은 다른 사람들에게 불명예스러운 일과 모든 권력이었습니다.

여기서 핵심 중 하나는 멀티 코어 CPU 에서 최적화 방법을 확장 할 수 있다는 것 입니다. 여러 기능 평가를 동시에 수행 할 수 있으면 관련된 여러 코어와 동일한 속도를 제공합니다. 약간 더 정확한 응답 모델을 사용하는 것과 비교하면 10 % 더 효율적입니다.

이 코드 를 살펴 보는 것이 좋습니다 . 많은 코어에 액세스하는 사람들에게 유용 할 수 있습니다. 이 논문의 뒤에 수학이 설명되어 있습니다.