시끄러운 함수에 대한 수학적 최적화

하자 수 비교적 좋은 기능 (예를 들어, 연속 미분, 너무 많은 로컬 맥시마 등 아마 오목). 이 I의 최대 값을 찾을 : 값 하게 가능한 한 큰 등을. f x ∈ R d f ( x $f:\mathbb{R}^d \to \mathbb{R}$$f$$x \in \mathbb{R}^d$$f(x)$

내가 선택한 모든 입력에 대해 정확하게 평가하는 절차가 있다면 , 표준 수학 최적화 기술을 사용할 수 있습니다 : 언덕 등반, 경사 하강 (잘, 경사 상승) 등. 그러나 내 응용 프로그램에는 정확하게 평가하는 방법 . 대신 값을 추정하는 방법이 있습니다.f ( x ) f ( x $f$$f(x)$$f(x)$

특히 와 감안할 때 추정값을 출력하고 예상 오차가 대략 인 오라클이 있습니다. 이 오라클 호출의 실행 시간은 비례합니다 . (이것은 일종의 시뮬레이션에 의해 구현됩니다. 시뮬레이션의 정확도는 시행 횟수의 제곱근에 따라 증가하며 시행 할 시행 횟수를 선택할 수 있으므로 원하는 정확도를 선택할 수 있습니다.) 내가 원하는 정확도의 추정치를 얻는 방법이지만, 추정이 정확할수록 시간이 오래 걸립니다.ε f ( x ) ε 1 / ε $x$$\varepsilon$$f(x)$$\varepsilon$$1/\varepsilon^2$

에 대한 시끄러운 오라클이 주어지면 최대한 효율적으로 최대 를 계산하는 기술이 있습니까? (또는 더 정확하게는 대략적인 최대 값을 찾는 것입니다.)이 모델 내에서 작동하는 언덕 등반, 경사 하강 등의 변형이 있습니까?$f$$f$

물론, 나는 아주 작은 값의 고칠 수 오라클과 함께 언덕 등반 또는 경사 하강을 적용하여 동일한 을 유지합니다 . 그러나 이는 불필요하게 비효율적 일 수 있습니다. 처음에는 정확한 추정치가 필요하지 않을 수도 있지만, 솔루션에 대해 제로화 할 때 끝 부근의 정밀도는 더 중요합니다. 최적화 프로세스를보다 효율적으로 만들기 위해 추정의 정확도를 동적으로 제어 할 수있는 능력을 활용할 수있는 방법이 있습니까? 이런 종류의 문제가 전에 연구 되었습니까?$\varepsilon$$\varepsilon$

정확한 함수 를 시끄러운 함수 f ( x + Δ x , p + Δ p )로 대체 할 수 있습니다 . 여기서 p 는 Δ x 및 Δ p 가 소음.$f(x,p)$$f(x+\Delta x, p + \Delta p)$$p$$\Delta x$$\Delta p$

• 확률 적 최적화 및 강력한 최적화에 사용 된 일부 기술 이 적용될 수 있습니다.
• 왜냐하면 최대 점 근처에서 ∂ x ≈0,Δx는Δp보다 덜 위험합니다.$\frac{\partial f}{\partial x}\approx 0$$\Delta x$$\Delta p$
• 때때로 평가하면서 정확하게 근사 할 수F를( ~ X , ~ P ). 구현되지 않았기 때문에 이론적으로 만 적용되는 경우가 많으며 일부는 특별한주의가 필요합니다.$\frac{\partial f}{\partial x}(\tilde{x}, \tilde{p})$$f(\tilde{x}, \tilde{p})$
• $\Delta p$$\Delta x$$1/\epsilon^2$
• 주어진 노이즈 대 런타임 트레이드 오프는 더 나은 연구 문제와는 별도로이 문제를 설정합니다. 문제는 소음이 피할 수 없다는 것이 더 일반적이고 더 잘 연구되었다는 것입니다.