확률 적 컴퓨터 모델의 최적화

검색에 단어 최적화 및 확률론이 거의 자동으로 확률 론적 최적화에 대한 검색으로 기본 설정되어 있기 때문에 이것은 나에게 구글에게 힘든 주제입니다. 그러나 내가 정말로 알고 싶은 것은 컴퓨터 모델 출력이 확률적일 때, 즉 결정적이지 않을 때 컴퓨터 모델을 최적화하기 위해 어떤 방법이 존재하는지입니다.

예를 들어, 컴퓨터 모델 의 출력을 나타내는 알려지지 않은 함수 가있는 컴퓨터 모델을 고려하면 다음과 같은 문제를 해결하기위한 많은 통계적 방법이 있습니다. $f(x)$

\begin{aligned} 분 & 에프 (엑스) \\ 엑스 & \in 엑스 \end{aligned}

$\begin{align*} \min&\,\,\,\, f(x)\\ x&\in\mathcal{X} \end{align*}$

경우 $f(x)$ 결정된다. 그러나 $f(x)$ 가 확률론적일 때는 어떻게됩니까 ? 문제에 대한 해결책이 있습니까, 아니면 최대한 해결할 수 있습니까?

\begin{aligned} 분 & 이자형 [에프 (엑스)] \\ 엑스 & \in 엑스 \end{aligned}

$\begin{align*} \min&\,\,\,\, \mathbb{E}[f(x)]\\ x&\in\mathcal{X} \end{align*}$

여기서 $\mathbb{E}(\cdot)$ 는 일반적인 기대 연산자입니다.

optimization stochastic-processes

— RustyStatistician
소스

이것은 매우 흥미로운 질문입니다. 최적화 는 실제로 가능한 유일한 것입니다. 이 질문과 관련된 통계적 적용은 MCEM 알고리즘인데, 여기서 전체 우도 함수는 MCMC 오류와 함께 만 관찰 할 수 있습니다. 마찬가지로 MCMC 입자 필터 알고리즘도 같은 문제가 있습니다. 나는 이것에 대답하기위한 최첨단 방법이 무엇인지 알기 위해 어느 문헌에서나 충분히 읽지 못했습니다.

E [f (x)]

$E[f(x)]$

— Cliff AB

그것은 당신의 목표에 달려 있습니다. 는 가능한 많은 선택 중 하나 일뿐입니다. 일부 응용 프로그램에서는 "평균적으로 좋은"솔루션이 아니라 "신뢰할 수있는"솔루션을 원할 수도 있습니다. 이 시나리오에서는 wrt를 분포의 Quantile에 맞게 최적화 합니다. 베이지안 최적화 는 값 비싼 (때로는 시끄러운) 기능 평가를 처리합니다. 예를 들어이 질문을 확인하십시오 .

E [f (x)]

$\mathbb{E}[f(x)]$

f (x)

$f(x)$

— lacerbi

@lacerbi는 그 예가 시끄 럽습니까? 나는 그들이 결정적이라고 생각합니다.

— RustyStatistician

@RustyStatistician : 맞습니다. 대부분의 예제는 결정 론적이거나 일반적으로 베이지안 최적화에 대해 이야기합니다. "잡음"부분에 초점을 맞춘 참고 자료는 아래를 참조하십시오.

— lacerbi

당신은 당신이 선택이 끝난 입력에 대해 스스로를 실행할 수 있도록 컴퓨터 프로그램에 대한 액세스를 마 ? 그런 다음 실험 설계 방법을 사용할 수 있습니다! 이 사이트를 검색하십시오.

x

$x$

— kjetil b halvorsen

답변:

( 내 답변을 올바른 답변으로 확장 )

내가 언급했듯이, 그것은 당신의 목표에 달려 있습니다.

기대 값 는 최적화 목표에 대해 가능한 많은 선택 중 하나 일뿐입니다. 예를 들어, 가 정규 분포 를 따른다고 가정하면 다음을 수행 할 수 있습니다. $\mathbb{E}[f(x)]$ $f(x)$

위험 민감도를 조작하는 일부. 경우최고 일 가능성이 큰강력한솔루션을찾고있으며 긍정적 인 변동이 크지 않습니다. 반대로, 음의는 큰 음의 변동을 찾는 "낙관적 인"최적화를 선호합니다 (최소화하기 때문에 음수가 좋습니다). 정규 분포의 Quantile을 기준으로를선택할 수 있습니다(아래 참조 2 참조).

{엑스}^{고르다} = 인수 \underset{엑스}{분} {이자형 [에프 (엑스)] + κ \sqrt{V ㅏ 아르 자형 [에프 (엑스)]}}

$x^\text{opt} = \arg \min_x \left\{ \mathbb{E}[f(x)] + \kappa \sqrt{\mathbb{Var}[f(x)]} \right\}$

κ \in R

$\kappa \in \mathbb{R}$

κ > 0

$\kappa > 0$

κ

$\kappa$

κ

$\kappa$

일반적으로 베이지안 최적화 (가우시안 프로세스 및 크릭 과 관련된 BO )는 값 비싸고 때로는 시끄러운 기능 평가를 처리합니다. 비록 문헌의 초점의 대부분은 전자에 초점을 두었지만. 이 질문 에서 베이지안 최적화에 대한 리뷰를 찾을 수 있습니다 .

여러 사람들이 노이즈 기능에 BO를 적용했습니다. 이 주제에 대한 소개로 David Ginsbourger는 글로벌 최적화를위한 가우스 프로세스에 대한 워크샵 (Sheffield, 2015 년 9 월 17 일)에서 "예상 개선에 대한 변형"이라는 제목의 멋진 강연을했습니다. 당신은 자신의 이야기를 찾을 수 있습니다 여기에 , 모든 회담에서 사용할 수있는 페이지 (나는 또한 BO에 훌륭한 일반적인 소개와 같은 다른 모든 대화를 권장합니다.)

참고로 Ginsbourger와 동료, Gramacy와 동료가 수행 한 작업부터 시작하겠습니다.

Picheny, V. 및 Ginsbourger, D., 2014. "Noisy kriging 기반 최적화 방법 : DiceOptim 패키지 내 통합 구현" 계산 통계 및 데이터 분석 , 71, pp.1035-1053. ( 링크 )
Picheny, V., Ginsbourger, D., Richet, Y. 및 Caplin, G., 2013. "조정 가능한 정밀도로 잡음이 많은 컴퓨터 실험의 정량 기반 최적화". 기술 측정법, 55 (1), pp. 2-13. ( 링크 )
Gramacy, RB 및 Lee, HK, 2012. "컴퓨터 모델링에 적용 할 수있는 바이어 트리 드 가우시안 프로세스 모델". 미국 통계 협회 저널 . ( 링크 )
Gramacy, RB 및 Apley, DW, 2015. "대형 컴퓨터 실험을위한 로컬 가우스 프로세스 근사치". 전산 및 그래픽 통계 저널 , 24 (2), pp.561-578. ( 링크 )

Ginsburger와 Gramacy에는 각각 BO 메서드 인 DiceOptim 과 tgp 를 구현하는 R 패키지가 있습니다.

— 도마뱀
소스

답에서

는 어디에 있습니까 , 아니면

를 의미 합니까?

k

$k$

κ

$\kappa$

— RustyStatistician

내가 사용하지 않았지만 재미있는 이름 부서에서이기는 알고리즘은 SNOBFIT 입니다. (* 저자는 이다 그러나 최적화 커뮤니티에서 주목할만한, 그리고 소프트웨어는에서 확인했다 결정 벤치 마크 추천이되지 않도록, 단지 멋진 이름을 기반으로!)

— GeoMatt22

현재 답변은 확률 적 최적화 대상의 적절한 (수학적) 정의에 중점을 둡니다. 약간 더 적용 된 관점을 제공하고 싶습니다.

이 문제는 비공식 또는 합성 가능성을 사용하여 확률 론적 모형을 적합 할 때 자주 발생합니다. 참조 (1)는 확률 모델과 데이터 사이의 거리를 정의하는 데 사용할 수있는 옵션 목록을 제공합니다.

이런 식으로 대상을 정의한 후에도 남아있는 문제는 노이즈가있는 대상의 일부 평균의 최적을 찾는 것입니다. a) 최적화와 b) MCMC 샘플링의 두 가지 경로가 있습니다. 최적화에 대해 구체적으로 질문했지만 MCMC를 자주 도입하고 싶습니다. MCMC는 종종이 작업에 더 적합합니다.

a) 최적화를 유지하는 경우 방해가되지 않고 최적화 프로그램이 확률 적 목표를 처리 할 수 있는지 확인해야합니다. Matteo Fasiolo의 PhD 논문 4 장은 힌트를 제공합니다 (2).

b) (1)에서 언급 한 바와 같이, MCMC는 일반적으로 확률 적 목표에 대해 더욱 견고합니다. 소음 분포와 관련한 온화한 조건에서 MCMC는 소음을 평균화하고 표본이없는 목표는 소음이없는 것과 구분할 수 없습니다. 시끄러운 대상의 평균으로 대상. 그러나 MCMC도 특히 좋은 평가를받을 때 멈출 수 있습니다. 지금하지 말아야 할 것은 다음과 같은 "명백한"아이디어를 얻는 것입니다. 각 MCMC 반복에서 현재 값과 제안 된 값을 모두 계산하면됩니다. 여기에서 찾아 볼 키워드는 "의사-마진"입니다 ( 여기 및 여기 참조) .

1) Hartig, F .; Calabrese, JM; Reineking, B .; Wiegand, T. & Huth, A. (2011) 확률 적 시뮬레이션 모델에 대한 통계적 추론-이론 및 적용 . 에콜. Lett., 14, 816-827.

2) Fasiolo, M. (2016) 복잡한 인구 역학을위한 통계적 방법 . 바스 대학교

— 플로리안 하티 그
소스

하자 우리가 그래서 이산 확률 공간에서 왔다고 . 직관적으로, 당신은 몇 가지 기능이 필요 사용하면 최적화 할 수 있도록 . 단일 목표 만 최적화 할 수 있습니다! $f(x) \in \mathcal{R}^n$ $U: \mathcal{R}^n \rightarrow \mathcal{R}$ $U(f(x))$

단일 목적 함수를 최적화하면 상당히 제한적인 것처럼 들릴 수 있지만 그렇지 않습니다 ! 오히려 하나의 목표는 더 나은 또는 더 나쁜 해결책에 대해 가질 수있는 매우 다양한 선호를 나타낼 수 있습니다.

앞으로 건너 뛰는 간단한 시작점은 임의의 변수 선택한 다음 해결 하는 것일 수 있습니다 . $\lambda$

이것은 선형 간단하게 재 가중치. 어쨌든, 여러 목표를 단일 목표로 축소하는 것이 일반적으로 좋은 이유에 대한 논쟁이 있습니다.

\begin{array}{llr} 최소화 엑스) & 이자형 [λ 에프 (엑스)] \\ 에 따라 & 엑스 \in 엑스 \end{array}

$\begin{array}{*2{>{\displaystyle}r}} \mbox{minimize (over $x$)} & E\left[\lambda f(x) \right] \\ \mbox{subject to} & x \in X \end{array}$

E [f (x)]

$E[f(x)]$

기본 설정 :

선택 변수 와 실행 가능한 세트 있습니다. $x$ $X$
선택 하면 임의의 결과가 도출됩니다. $x$ $\tilde{y} = f(x)$
당신은 합리적인 환경 임의의 결과가 이상합니다. (기본적으로, 임의의 임의의 결과를 선호하는지 를 다른 것으로 선호하는지 말할 수 있습니다 .) $\prec$ $\tilde{y}$

문제는 다음과 같이 를 선택 하는 것입니다. $x^*\in X$

영어, 당신은 선택 완 그래서 더 실현 가능한 선택 선호 결과에 리드 .

∄_{엑스 \in 엑스} 에프 ({엑스}^{※}) ≺ 에프 (엑스)

$\nexists_{x \in X} \quad f(x^*) \prec f(x)$

x^{*}

$x^*$

x

$x$

f (x^{*})

$f(x^*)$

유용성을 최대화하는 것과 동등 함 (특정 기술 조건에서)

$n$ $\tilde{y}$ $\mathbf{y} \in \mathcal{R}^n$

$U(\mathbf{y})$

이 논리는 선택한 결과가 여러 개의 결과 변수로 이어지는 모든 문제에 적용됩니다.

\begin{array}{llr} 최대화 엑스) & 유 (에프 (엑스)) \\ 에 따라 & 엑스 \in 엑스 \end{array}

$\begin{array}{*2{>{\displaystyle}r}} \mbox{maximize (over $x$)} & U(f(x)) \\ \mbox{subject to} & x \in X \end{array}$

$U$

유 (와이) = 이자형 [유 ({와이}_{나는})] = \sum_{나는} 피_{나는} 유 ({와이}_{나는})

$U(\mathbf{y}) = E[u(y_i)] = \sum_i p_i u(y_i)$

p_{i}

$p_i$

i

$i$

u

$u$

u

$u$

U

$U$

\begin{array}{llr} 최대화 엑스) & \sum_{나는} 피_{나는} 유 ({와이}_{나는}) \\ 에 따라 & 엑스 \in 엑스 \\ 와이 = 에프 (엑스) \end{array}

$\begin{array}{*2{>{\displaystyle}r}} \mbox{maximize (over $x$)} & \sum_i p_i u(y_i) \\ \mbox{subject to} & x \in X \\ & \mathbf{y} = f(x) \end{array}$

$u(y_i) = y_i$

$\lambda$

\begin{array}{llr} 최대화 엑스) & \sum_{나는} λ_{나는} {와이}_{나는} \\ 에 따라 & 엑스 \in 엑스 \\ 와이 = 에프 (엑스) \end{array}

$\begin{array}{*2{>{\displaystyle}r}} \mbox{maximize (over $x$)} & \sum_i \lambda_i y_i \\ \mbox{subject to} & x \in X \\ & \mathbf{y} = f(x) \end{array}$

$\lambda_i$ $p_i$

$\boldsymbol{\lambda}$ $U(f(x))$

— 매튜 건
소스

그러나이 설정에서 모든 유틸리티 기능이 동일한 대답으로 올바른 것은 아닙니다.

— RustyStatistician

유틸리티 기능에 대한 일반적인 선택이 있습니까? 내 문제는 확률 적 인 컴퓨터 시뮬레이터이며 실제로 블랙 박스 시뮬레이터이므로 기본 메커니즘에 대한 정보가 없으므로 유틸리티 기능을 할당 할 수도 있습니까?

— RustyStatistician

문제의 논리, 좋은 결과를 구성하는 것을 생각한 다음 더 나은 결과를 더 많이 부여하는 객관적인 함수를 찾아야합니다. (또는 이와 동일하게이를 최소화 문제로 설정하고 더 나쁜 결과를 더 높은 수로 할당 할 수 있습니다 (예 : 제곱 오차의 개념을 최소화하는 등).

— Matthew Gunn

확률 적 컴퓨터 모델의 최적화

기본 설정 :

유용성을 최대화하는 것과 동등 함 (특정 기술 조건에서)

유유U

λλ\lambda

$U$

$\lambda$