여러 기대치를 계산할 때 추첨을 최적으로 분산시키는 방법

일부 기대치를 계산한다고 가정 해보십시오.

E_{Y} E_{X | Y} [f (X, Y)]

$E_YE_{X|Y}[f(X,Y)]$

Monte Carlo 시뮬레이션을 사용하여이를 근사한다고 가정합니다.

E_{Y} E_{X | Y} [f (X, Y)] \approx \frac{1}{R S} \sum_{r = 1}^{R} \sum_{s = 1}^{S} f (x^{r, s}, y^{r})

$E_YE_{X|Y}[f(X,Y)] \approx \frac1{RS}\sum_{r=1}^R\sum_{s=1}^Sf(x^{r,s},y^r)$

그러나 두 분포에서 표본을 추출하는 데 비용이 많이 든다고 가정하면 고정 된 숫자 만 그릴 수 있습니다 $K$ .

우리는 어떻게 할당해야 $K$ ? 예를 들어 $K/2$ 각 분포를 그리거나 극단적으로 하나를 바깥쪽으로 그리고 $K-1$ 내면에, 그 반대로도 그립니다 ....

내 직감은 분포의 분산 / 엔트로피와 관련이 있음을 알려줍니다. 바깥 쪽이 질량 점이라고 가정하고 $K$ MC 오류를 최소화하는 것은 $Y$ 그리고 그립니다 $K-1$ 의 $X|Y$ .

잘만되면 이것은 분명했다.

— 늑대
소스

당신을 위해 그것을 수정

— wolfsatthedoor

@ Xi'ans 답변에 대한 "반대"와 귀하의 의견은 내부 변수보다 외부 변수를 여러 번 그릴 수 있다고 생각하는 것처럼 보이지만 어떻게 그것이 의미가 있을까요? 모든 외부가 아닙니다.

0

$0$ 내부가 낭비 되는가?

— Juho Kokkala

충분하다고 생각합니다. 또는 당신은 내가 생각하는 무승부를 저장하기 위해 프로그래밍을 생각할 수 있습니다

— wolfsatthedoor

@robertevansanders 시안 답변의 첫 두 문장에서 질문의 해석이 올바른지 확인하십시오

— Juho Kokkala

당신이 말했듯이,

— 그렇습니다.

이것은 층화 및 Rao-Blackwellisation 과 관련된 것을 제외하고 Monte Carlo 문헌에 거의 문서가없는 매우 흥미로운 질문입니다 . 이는 예상 조건부 분산 및 조건부 기대 분산의 계산이 거의 불가능하기 때문일 수 있습니다.

먼저, 당신이 실행한다고 가정합시다 $R$ ~로부터의 시뮬레이션 $\pi_X$ , $x_1,\ldots,x_R$ 그리고 각각의 시뮬레이션에 대해 $x_r$ , 당신은 실행 $S$ ~로부터의 시뮬레이션 $\pi_{Y|X=x_r}$ , $y_{1r},\ldots,y_{sr}$ . 몬테카를로 견적은 다음과 같습니다

δ (R, S) = \frac{1}{R S} \sum_{r = 1}^{R} \sum_{s = 1}^{S} f (x_{r}, y_{r s})

$\delta(R,S)=\frac{1}{RS}\sum_{r=1}^R\sum_{s=1}^S f(x_r,y_{rs})$ 이 추정값의 분산은 다음과 같이 분해됩니다.

\begin{aligned} var {δ (R, S)} & = \frac{1}{R^{2} S^{2}} R var {\sum_{s = 1}^{S} f (x_{r}, y_{r s})} \\ = \frac{1}{R S^{2}} {var}_{X} E_{Y | X} {\sum_{s = 1}^{S} f (x_{r}, y_{r s}) | x_{r}} + \frac{1}{R S^{2}} E_{X} {var}_{Y | X} {\sum_{s = 1}^{S} f (x_{r}, y_{r s}) | x_{r}} \\ = \frac{1}{R S^{2}} {var}_{X} {S E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{R S^{2}} E_{X} [S {var}_{Y | X} {f (x_{r}, Y) | x_{r}}] \\ = \frac{1}{R} {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{R S} E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}] \\ \overset{K = R S}{=} \frac{1}{R} {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{K} E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}] \end{aligned}

$\begin{align*} \text{var} \{\delta(R,S)\} &= \frac{1}{R^2S^2} R\text{var} \left\{\sum_{s=1}^S f(x_r,y_{rs})\right\}\\ &= \frac{1}{RS^2} \text{var}_X\mathbb{E}_{Y|X}\left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}+\frac{1}{RS^2}\mathbb{E}_{X}\text{var}_{Y|X} \left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}\\ &=\frac{1}{RS^2} \text{var}_X\{ S \mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS^2} \mathbb{E}_{X}[S\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &=\frac{1}{R} \text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &\stackrel{K=RS}{=}\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{K} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}] \end{align*}$ 따라서이 분산을 최소화하려는 경우 최적의 선택은

R = K

$R=K$ . 암시

S = 1

$S=1$ . 첫 번째 분산 항이 null 인 경우를 제외하고는 중요하지 않습니다. 그러나, 의견에서 논의 된 바와 같이, 가정

K = R S

$K=RS$ 그것이 하나의 생산을 설명하지 않기 때문에 비현실적이다

x_{r}

$x_r$ [또는 무료로 제공한다고 가정].

이제 다른 시뮬레이션 비용과 예산 제약을 가정 해 봅시다 $R+aRS=b$ , 의미하는 $y_{rs}$ 비용 $a$ 시뮬레이션보다 더 많은 시간 $x_r$ '에스. 위 분산의 분해는

\frac{1}{R} {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{R (b - R) / a R} E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}]

$\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{R(b-R)/aR} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]$ 최소화 할 수있는

R

$R$ 같이

R^{*} = b / 1 + {a E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}} / {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]}}^{1 / 2}

$R^*=b\big/1+\{a\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}/\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}\}^{1/2}$ [제약 조건에서 가장 가까운 정수

R \geq 1

$R\ge 1$ 과

S \geq 1

$S\ge 1$ ], 첫 번째 분산이 0 인 경우를 제외하고

R = 1

$R=1$ . 언제

E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}] = 0

$\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]=0$ 최소 분산은 최대에 해당합니다.

R

$R$ 이로 인해

S = 1

$S=1$ 현재 형식주의에서.

또한 내부 적분이있을 때이 솔루션을 대칭 솔루션과 비교해야합니다. $X$ 주어진 $Y$ 그리고 외부 적분은 한계에 대하여 $Y$ (시뮬레이션도이 순서대로 가능하다고 가정).

이 질문에 대한 흥미로운 확장은 다른 수의 시뮬레이션을 고려하는 것입니다. $S(x_r)$ 각각의 시뮬레이션 $x_r$ 값에 따라 $\text{var}_{Y|X}\{f(x_r,Y)|x_r\}$ .

— 시안
소스

마지막 결론에서, 당신은 가정하는 것 같습니다

K = R S

$K=RS$ 그러나 질문의 설정에서

K = R S + R

$K=RS+R$ 외부 변수의 추첨도 계산되어야하기 때문에. 여기서 결과는 외부 변수 샘플링이 자유로울 경우 물론 모든 내부에 대해 새 외부를 샘플링해야한다고 말합니다. (또한,

x

$x$ 과

y

$y$ 질문과 비교하여 여기에서 전환되지만 물론 중요하지는 않습니다).

— Juho Kokkala

예,하지만 우리는 가치를 결정할 수 있습니다

R

$R$ ... 외부 변수가있는 축퇴 설정을 고려하십시오.

X

$X$ 일정하다. 상수를 한 번 샘플링하는 것이 좋습니다.

Y

$Y$

K - 1

$K-1$ 상수보다는 시간

K / 2

$K/2$ 시간과

Y

$Y$

K / 2

$K/2$ 시대

S = 1

$S=1$ 암시)? 아니면 질문을 완전히 오해하고 있습니까? (나는 지금 당신의 의견의 두 번째 문장을 읽었습니다-질문에 같은 비용이 든다는 가정이 아닙니다)

— Juho Kokkala

@ Xi'an 예 Kolkata는 정확합니다. 일반적으로 솔루션을 유지할 수 없습니다. 내부 변수가 퇴화 분포를 가지고 있으며, 외부 의미있는 차이는, 당신은 내면의 몇 가지로 샘플 싶어했다고 가정하자이 가능한 무

— wolfsatthedoor

나는 당신의 대답이 옳지 않다고 생각합니다. 내부 분포가 퇴화되고 외부가 큰 분산이라고 가정하면 S는 1 일 수 있습니다.

— Wolfsatthedoor

@ robertevansanders : 내부 분포가 퇴화되면,

{var}_{Y | X} {f (x_{r}, Y) | x_{r}} = 0

$\text{var}_{Y|X}\{f(x_r,Y)|x_r\}=0$ , 그 후

R^{*} = b

$R^*=b$ 가장 가까운 정수를 선택합니다

R

$R$ 제약 아래

S \geq 1

$S\ge 1$ 과

R (1 + a S) \leq b

$R(1+aS)\le b$ , 즉 복용을 의미

S = 1

$S=1$ 만들다

R

$R$ 가능한 한 가까이

b

$b$ .

— 시안