샘플링 비용

다음과 같은 시뮬레이션 문제가 발생했습니다. $\{\omega_1,\ldots,\omega_d\}$ 알려진 실수의 분포 $\{-1,1\}^d$ 에 의해 정의

P (X = (x_{1}, \dots, x_{d})) \propto (x_{1} ω_{1} + \dots + x_{d} ω_{d})_{+}

$\mathbb{P}(X=(x_1,\ldots,x_d))\propto (x_1\omega_1+\ldots+x_d\omega_d)_+$ 어디

(z)_{+}

$(z)_+$ 의 긍정적 인 부분을 나타냅니다

z

$z$ . 이 분포를 대상으로하는 Metropolis-Hastings 샘플러는 생각할 수 있지만 알고리즘의 순서를 줄이기 위해 많은 수의 제로 확률을 사용하는 효율적인 직접 샘플러가 있는지 궁금합니다.

O (2^{d})

$O(2^d)$ 에

O (d)

$O(d)$ .

— 시안
소스

여기 꽤 명백한 재귀 샘플러가 있습니다. $O(d)$ 가장 좋은 경우 (무게 측면에서) $\omega_i$ )이지만 최악의 경우 지수입니다.

우리가 이미 선택했다고 가정 $x_1, \dots, x_{i-1}$ , 선택하고 싶다 $x_{i}$ . 우리는 계산해야합니다

w (x_{1}, \dots, x_{i - 1}, x_{i}) = \sum_{x_{i + 1} \in {- 1, 1}} \dots \sum_{x_{d} \in {- 1, 1}} {(\sum_{j = 1}^{d} ω_{j} x_{j})}_{+}

$w(x_1, \dots, x_{i-1}, x_i) = \sum_{x_{i+1} \in \{-1, 1\}} \cdots \sum_{x_{d} \in \{-1, 1\}} \left( \sum_{j=1}^d \omega_j x_j \right)_+$ 그리고 선택

x_{i} = 1

$x_i = 1$ 확률로

\frac{w (x_{1}, \dots, x_{i - 1}, 1)}{w (x_{1}, \dots, x_{i - 1}, 1) + w (x_{1}, \dots, x_{i - 1}, - 1)} .

$\frac{w(x_1, \dots, x_{i-1}, 1)}{w(x_1, \dots, x_{i-1}, 1) + w(x_1, \dots, x_{i-1}, -1)}.$ 분모는 샘플의 유효한 선택에 대해 0이 아닙니다.

x_{1}, \dots, x_{i - 1}

$x_1, \dots, x_{i-1}$ .

물론, 문제는 계산하는 방법입니다 $w(x_1, \dots, x_i)$ .

우리가 가지고 있다면 $C := \sum_{j=1}^{i} \omega_j x_j \ge \sum_{j=i+1}^{d} \lvert \omega_j \rvert$ 그런 다음 $\omega \cdot x \ge 0$ 어떠한 것도 $x$ 주요 항목 $x_{1:i}$ , 그래서 $w$ 된다 :

\begin{aligned} \sum_{x_{i + 1}} \dots \sum_{x_{d}} ω \cdot x & = ω \cdot (\sum_{x_{i + 1}} \dots \sum_{x_{d}} x) \\ = \sum_{j = 1}^{i} ω_{j} \underset{2^{d - i} x_{j}}{\underset{⏟}{(\sum_{x_{i + 1}} \dots \sum_{x_{d}} x_{j})}} + \sum_{j = i + 1}^{d} ω_{j} \underset{0}{\underset{⏟}{(\sum_{x_{i + 1}} \dots \sum_{x_{d}} x_{j})}} \\ = 2^{d - i} C . \end{aligned}

$\begin{align} \sum_{x_{i+1}} \cdots \sum_{x_d} \omega \cdot x &= \omega \cdot \left( \sum_{x_{i+1}} \cdots \sum_{x_d} x \right) \\&= \sum_{j=1}^i \omega_j \underbrace{\left( \sum_{x_{i+1}} \cdots \sum_{x_d} x_j \right)}_{2^{d-i} x_j} + \sum_{j=i+1}^d \omega_j \underbrace{\left( \sum_{x_{i+1}} \cdots \sum_{x_d} x_j \right)}_{0} \\&= 2^{d-i} C .\end{align}$

반대의 경우 $C \le - \sum_{j=i+1}^{d} \lvert \omega_j \rvert$ 우리는 $\omega \cdot x \le 0$ 그래서 $w(x_1, \dots, x_i) = 0$ .

그렇지 않으면, 우리는 $w(x_1, \dots, x_i) = w(x_1, \dots, x_i, 1) + w(x_1, \dots, x_i, -1)$ .

메모리는 문제가 아니며 모든 하위 계산을 캐시에 넣을 수 있다고 가정합니다. $w(1)$ , $w(-1)$ 트리에서 – "좋은"사례 중 하나에 도달 한 시점까지 모든 통화는 일정한 시간이 걸립니다. (어쨌든이 전체 트리를 계산하여 선택해야합니다. $x_1$ .) 그런 다음이 나무가 $w$ 계산이 이루어지고 샘플러는 $O(d)$ 시각. 문제는 트리를 구축하는 데 걸리는 시간 또는 그와 동등한 크기입니다.

우리는 물론 "좋은"사례를 더 빨리 칠 것입니다. $\omega_i$ 정렬 $\omega_1 \ge \omega_2 \ge \dots \ge \omega_d$ .

가장 좋은 경우 $\lvert \omega_1 \rvert > \sum_{j=2}^d \lvert \omega_j \rvert$ . 그런 다음 즉시 "좋은"사례를 발견했습니다. $w(1)$ 또는 $w(-1)$ 그래서 $w$ 나무 구조는 일정한 시간이 걸리고 전체 샘플러는 $O(d)$ 시각.

최악의 (정렬 된) 경우 $\omega_1 = \omega_2 = \dots = \omega_d$ . 그렇다면 문제는 전체 트리가 얼마나 큽니까?

글쎄, 종료하는 첫 번째 경로는 물론 $(1, 1, \dots, 1)$ 과 $(-1, -1, \dots, -1)$ 길이의 $\lceil d/2 \rceil$ . 따라서 나무는 그 깊이까지 완성되므로 최소한 $O(2^{d/2})$ 노드. (더 많은 것이 있습니다; 당신은 아마 도박꾼의 파멸 문제에 사용 된 것과 같은 논쟁으로 그것을 찾을 수 있지만, 나는 2 분의 인터넷 검색에서 그것을 찾을 수 없었고 특히 신경 쓰지 않았습니다. $2^{d/2}$ 충분히 나쁘다 ...)

설정 값이 매우 큰 경우 $\omega_i$ 이것은 아마도 합리적으로 실용적인 접근법 일 것입니다. 만약 $\omega_i$ 모두 비슷한 크기이며, 아마도 여전히 지수적이고 너무 비쌉니다. $d$ .

— 더갈
소스

이 Viterbi 유형의 제거에 감사드립니다. "반대 경우"라고 쓰면

C_{i} \leq - \sum_{j = i + 1}^{d} | ω_{j} |

$C_i\le -\sum_{j=i+1}^{d} \lvert \omega_j \rvert$ 나는 당신이 첫 번째 사례의 보완을 의미하지 않는다고 생각합니다.

C_{i} \geq \sum_{j = i + 1}^{d} | ω_{j} |

$C_i\ge \sum_{j=i+1}^{d} \lvert \omega_j \rvert$

— 시안

아니요, 보완이 아닙니다. 매우 크면 잘림이 적용되지 않음, 매우 작을 때 항상 적용됨을 알 수 있으며 그 사이에는 반복 적용 여부를 파악하기 위해 반복해야합니다.

— Dougal