큰 표본 크기에서 왜 혼란 문제를 다루기 어렵습니까?

점 가 있다고 가정 합니다. 각 점 는 분포 수득 후방 위해하려면 우리는 물품 Minka의 Expectation Propagation 논문에 따르면 사후 하려면 계산이 필요 하므로 큰 표본 크기 대한 문제를 다루기 어렵게됩니다 . 그러나 단일 때문에이 경우 왜 그런 계산량이 필요한지 알 수 없습니다. $\mathbf{y} = \{y_1, y_2, \ldots, y_N \}$ $y_i$

p (y_{i} | x) = \frac{1}{2} N (x, 1) + \frac{1}{2} N (0, 10) .

$p(y_i| x) = \frac12 \mathcal{N}(x, 1) + \frac12 \mathcal{N}(0, 10).$

x

$x$

p (x | y) \propto p (y | x) p (x) = p (x) \prod_{i = 1}^{N} p (y_{i} | x) .

$p(x| \mathbf{y}) \propto p(\mathbf{y}| x) p(x) = p(x) \prod_{i = 1}^N p(y_i | x).$

2^{N}

$2^N$

p (x | y)

$p(x| \mathbf{y})$

N

$N$

y_{i}

$y_i$ 가능성은

p (y_{i} | x) = \frac{1}{2 \sqrt{2 π}} (\exp {- \frac{1}{2} (y_{i} - x)^{2}} + \frac{1}{\sqrt{10}} \exp {- \frac{1}{20} y_{i}^{2}}) .

$p(y_i| x) = \frac{1}{2 \sqrt{2 \pi}} \left( \exp \left\{-\frac12 (y_i - x)^2\right\} + \frac{1}{\sqrt{10}} \exp \left\{-\frac1{20} y_i^2\right\} \right).$

이 공식을 사용하면 의 간단한 곱셈으로 후방을 구할 수 있으므로 연산 만 필요 하므로 큰 표본 크기에 대해이 문제를 정확하게 해결할 수 있습니다. $p(y_i| x)$ $N$

나는 각각의 항을 개별적으로 계산할 때와 각 에 대해 밀도의 곱을 사용하는 경우에 동일한 후부를 얻 ? 후부는 동일합니다. 내가 어디가 잘못 참조 ? 주어진 와 샘플 사후를 계산하기 위해 왜 연산이 필요한지 누가 분명히 알 수 있습니까 ? $y_i$ 여기에 이미지 설명을 입력하십시오 $2^N$ $x$ $\mathbf{y}$

bayesian mixture posterior

— 알렉세이 자이체프
소스

항과 항당 하나의 연산 이므로 연산이 필요 합니다. 또한 Minka의 논문과 주교의 장에서 대략적인 추론에 대해 다시 살펴 봅니다. 둘 다 우리는 대한 추정과 후부를 구할 것을 제안합니다 .

N

$N$

O (N)

$O(N)$

x

$x$

— Alexey Zaytsev

귀하의 가 일 변량 올바르게 이해하고 있습니까? 그렇다면, 당신은이를 해결할 수 에 관계없이 다루기 쉬운 간주됩니다

y_{i}

$y_i$

O (n \log (n))

$O(n\log(n))$

n

$n$

— user603

@Alexey이 단락을 다시 읽은 후에 저자는 연산을 언급하지 않는다고 생각합니다 . 그는 단지 " 대한 신념 상태 는 Gaussians 의 혼합 "이라고 지적했다 .

2^{N}

$2^N$ $x$ $2^N$

논문에 따르면 @Procrastinator 우리는 믿음 전파를 사용하고 싶지만 가우스의 혼합을 진행해야하기 때문에 사용할 수 없습니다 . 그렇다면 BP를 사용하고 싶은 이유는 무엇입니까? 주교의 PRML에서 10.7.1 장을 읽거나 Minka의 비디오 강의를 시청하는 경우 또 다른 질문이 발생합니다 . 그 후의 대답은 명확하지 않습니다.

2^{N}

$2^N$

— Alexey Zaytsev

@Alexey 나는 이것의 논리가 다르다고 생각합니다. 저자는 이 클 때 신념 전파를 사용하여 어떤 어려움을 강조한 다음 "예측 전파"를 홍보 하기 위해 어떻게되는지에 대해 설명합니다 . 그는 신념 전파에는 에 대한 신념 상태 에 Gaussians 의 혼합물을 사용해야하므로 이 클 때 복잡해 진다고 언급했다 . 필요한 연산의 수에 대한 언급은 없지만 에 대한 신념 상태의 복잡성에 대해서는 언급되어 있지 않습니다 .

N

$N$

2^{N}

$2^N$

x

$x$

N

$N$

x

$x$

당신은 종이가 잘못된 것을 말하고있는 것이 맞습니다. 연산을 사용하여 알려진 위치에서 의 사후 분포를 확실히 평가할 수 있습니다 . 문제는 후부 모멘트를 계산할 때입니다. 의 사후 평균을 정확하게 계산하려면 연산 이 필요 합니다. 이것이 종이가 해결하려는 문제입니다. $x$ $O(n)$ $x$ $2^N$

— 톰 민카
소스

$y_i$ $p(y_i | x)$ $1-w$ $p_c(y)$ $y$ $x$ $w$

$c_i$ $i$ $0$ $p(y|x)$ $x$

$2^N$

— 데이브
소스

c_{i}

$c_i$

x

$x$

2^{N}

$2^N$

c

$c$

c_{i}

$c_i$

c_{i}

$c_i$

2^{N}

$2^N$

O (n)

$O(n)$

O (2^{n})

$O(2^n)$