알려지지 않은 잡음 기능 최대화

함수 를 최대화하는 데 관심이 있는데 여기서 θ ∈ R p 입니다.$f(\mathbf \theta)$$\theta \in \mathbb R^p$

문제는 함수 또는 파생 함수의 분석 형식을 모른다는 것입니다. 내가 할 수있는 유일한 방법은 값에 연결하여, 포인트 - 현명한 기능을 평가하는 것입니다 잡음 추정 얻을 F를 ( θ * ) 그 시점에서. 원하는 경우 이러한 추정값의 변동성을 줄일 수 있지만 계산 비용을 증가시켜야합니다. $\theta_*$$\hat{f}(\theta_*)$

내가 지금까지 시도한 것은 다음과 같습니다.

• 유한 한 차이가있는 확률 적 가파른 하강 : 작동 할 수 있지만 많은 튜닝 (예 : 게인 시퀀스, 스케일링 계수)이 필요하고 종종 매우 불안정합니다.

• 시뮬레이션 어닐링 : 작동하고 신뢰할 수 있지만 많은 기능 평가가 필요하므로 상당히 느립니다.

따라서 이러한 조건에서 작동 할 수있는 가능한 대체 최적화 방법에 대한 제안 / 아이디어를 요청합니다. 나는 다른 연구 분야의 제안을 장려하기 위해 가능한 한 일반적인 문제를 유지하고 있습니다. 필자는 수렴시 Hessian을 추정 할 수있는 방법에 매우 관심이 있다고 덧붙여 야한다. 매개 변수 의 불확실성을 추정하기 위해 사용할 수 있기 때문 입니다. 그렇지 않으면 견적을 얻으려면 최대 주위에 유한 차이를 사용해야합니다.$\theta$

우리의 Matlab 패키지 SnobFit은이 목적을 위해 정확하게 만들어졌습니다. 노이즈 분포에 대한 가정은 필요하지 않습니다. 또한 텍스트 파일을 통해 함수 값을 제공 할 수 있으므로 텍스트 파일을 작성할 수있는 모든 시스템에서 구현 된 함수에 적용 할 수 있습니다. 참조
http://www.mat.univie.ac.at/~neum/software/snobfit/를

SnobFit은 최적화 될 기능이 존재하지 않는 애플리케이션을 위해 개발되었으며, 기능성 값 (제조 품질 측정)은 샘플 제품을 생성하고 수작업으로 측정하는 특수하고 고가의 장비에 의해 얻어졌으며, 약 50 개의 기능 하루 평가.

시도 할 수 있는 몇 가지 베이지안 최적화 기술이 있습니다. 가장 쉬운 방법은 가우스 프로세스를 기반으로합니다.

• 해롤드 J. 쿠 쉬너. 잡음이있을 때 임의의 다중 피크 곡선의 최대 값을 찾는 새로운 방법. 기본 공학 저널, 1964 년 3 월 86 : 97 ~ 106
• J. Mockus. 글로벌 최적화에 대한 베이지안 접근 방식. 제어 및 정보 과학에 관한 강의 노트, 38 : 473–481, 1982.
• Niranjan Srinivas, Andreas Krause, Sham Kakade 및 Matthias Seeger. 산적 설정에서 가우스 프로세스 최적화 : 후회 및 실험 설계 없음. Proc. 국제 머신 러닝 컨퍼런스 (ICML), 2010.
• Andreas Krause, Ajit Singh 및 Carlos Guestrin. 가우스 프로세스에서 거의 최적의 센서 배치 : 이론, 효율적인 알고리즘 및 경험적 연구. J. 마하 배우다. Res., 9 : 235-284, 2008 년 6 월.

그것들은 지금까지 관찰 가능한 타당한 함수들보다 후자를 형성함으로써 작동하며, 함수를 빨리 배우고 글로벌 최대 점을 찾는 다음 요점을 제안합니다 ( 내 블로그 게시물 참조 ).

또 다른 장점은 최대 값에서 Hessian을 추정 할 수 있다는 것입니다. 그러나 노이즈 모델을 지정해야합니다.

James Spall의 SPSA 알고리즘 (정확히 기억하면 확률 적 변동 시뮬레이션 어닐링의 줄임말)은 정확히 이런 종류의 문제를 위해 설계되었습니다. 그는 당신이 묘사 한 것과 같은 문제를 위해 그것을 사용하는 몇 가지 논문을 가지고 있습니다.