가우스 혼합의 사용을 정당화하는 참고 문헌

가우시안 혼합 모델 (GMMs)은 분석적으로나 실제적으로 작업하기가 간단하고 너무 복잡하지 않은 일부 이국적인 분포를 모델링 할 수 있기 때문에 매력적입니다. 일반적으로 명확하지 않은 몇 가지 분석 속성이 있습니다. 특히:

$S_n$ 이 $n$ 성분을 가진 모든 가우시안 혼합물의 클래스 라고 가정하십시오 . 실수에 대한 지속적인 분포 에 대해 , 우리는 이 증가 함에 따라 상대 엔트로피의 의미에서 무시할만한 손실로 GMM으로 를 근사 할 수 있습니까? 즉, $P$ $n$ $P$ $lim_{n \to \infty} inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = 0 ?$ $\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0?$
연속 분포 있고 전체 변형에서 에 가까운 성분 가우스 혼합 을 발견 했다고 가정 해 봅시다 : . 과 관련하여 를 묶을 수 있습니까 ? $P$ $N$ $\hat{P}$ $P$ $\delta(P,\hat{P})<\varepsilon$ $D(P||\hat{P})$ $\epsilon$
독립 가산 노이즈 (실제, 연속)를 통해 를 관찰 하고 GMM이있는 경우 여기서 이면이 값이 작습니다. 즉 추정하는 것이 사실입니까? $X\sim P_X$ $Y\sim P_Y$ $\hat{X} \sim Q_X, \hat{Y} \sim Q_N$ $\delta(P,Q)<\epsilon$ $| m m s e (X | X + Y) - m m s e (\hat{X} | \hat{X} + \hat{Y}) |,$ $\left|\mathsf{mmse}(X|X+Y)-\mathsf{mmse}(\hat{X}| \hat{X}+\hat{Y})\right|,$ $X$ 통해 $Y$ 노이즈를 추정하는 것이 $\hat{X}$ 통해 $\hat{Y}$ 노이즈 를 추정하는 것만 큼 어렵다는 입니까?
포아송 노이즈와 같은 비가 산 노이즈 모델에 적용 할 수 있습니까?

지금까지 저의 짧은 문학 리뷰는 매우 적용된 튜토리얼을 보여주었습니다. 혼합 모델을 사용할 때 어떤 조건에서 정당화되는지를 잘 보여주는 문헌이 있습니까?

— 열심
소스

GMM 세트는 취약한 토폴로지의 분배 세트에서 밀도가 높습니다 (분산의 수렴에 해당). 예를 들어 여기를 참조 하십시오 . 첫 번째 문장이 있는지 여부는 확실하지 않지만 혼합물의 제로 분산 성분이 점 질량을 처리하도록 허용해야합니다 . 나는 또한 포인트 매스 문제로 인해 두 번째 글 머리 기호에 대해 회의적입니다.

P

$P$

— Dougal

좋은 점, 나는 모든 것이 연속적이어야한다고 명시했다

— enthdegree

가우시안 커널을 사용한 커널 밀도 추정에 관한 문헌을 살펴보면 운이 좋을 것입니다. 표본 당 하나의 가우시안이 혼합되어 있으므로 표본 수가 증가함에 따라 분포에 대해 무의식적으로 편견이없고 일관된 추정값을 얻습니까? 나는 대답이 그렇다고 생각하지만 즉시 참조를 찾을 수는 없습니다.

— Greg Ver Steeg

@ enthdegree : 아주 좋은 질문입니다. 강력한 토폴로지 (KL 발산 및 전체 변동)를 사용하려는 경우 처음 두 가지 요점에 대한 일반적인 대답은 '아니오'입니다. 유한 가우시안 혼합물에 대한 KL은 무한합니다 (100 %는 아니지만 이것이 효과가 있다고 확신합니다). 그러나 이것은 훨씬 더 흥미로운 질문으로 이어진다. 어떤 확률 분포의 하위 클래스가 모든 글 머리 기호에 적용됩니까? 나는 대답을 모른다. 그러나 그것은 매우 흥미있는 것처럼 보인다. 내 생각 엔 거의 모든 확률 분포 일 것이다.

— 기 illa 데 하네

나는이 책을 가지고 수업을 들었다. 링크 기본에 대한 적절한 배경 지식을 제공합니다.

— EngrStudent-복직 모니카

답변:

문맥이 로짓 모델에서 계수의 혼합 분포에 대한 계량 경제학에서 표준 참조는 다음과 같습니다. 아이콘 15 : 447-470 (2000)]을 참조하시오.

— 팀
소스

귀하의 질문과 관련하여 :

가우스의 Dirichlet Process 혼합의 매우 유사한 베이지안 문제에 대해서는 대답이 그렇다는 것을 이해합니다. Ghosal (2013) .
이 주제에 관한 대화에 참석했을 때 주로 KL 분기를 사용하여 진전이 이루어진 것 같습니다. Harry van Zanten의 슬라이드를 참조하십시오 .
확실하지 않습니다. 그러나, 소스 분리 문제 등이 보인다 ( 알 수 없음). 이들은 일반적으로 혼합 모델링보다 훨씬 어렵습니다. 특히 의 간단한 경우 에는 실제 및 를 식별 할 수 없습니다 $P_N, P_S$ $P_N = P_S = N(0,1)$ $X$ $Y$ 에는 분포가 0에 대한 대칭으로 인해 .
위에 링크 된 네 번째 슬라이드를 참조하십시오. 수렴을 보장하는 베이지안 모델 목록이 있습니다.

— 추측
소스

다음은 부분 답변입니다.

이 성분을 가진 모든 가우시안 혼합물의 클래스 라고 가정하십시오 . 실수에 대한 지속적인 분포 에 대해 , 우리는 이 증가 함에 따라 상대 엔트로피의 의미에서 무시할만한 손실로 GMM으로 를 근사 할 수 있습니까? 즉,하지 $S_n$ $n$ $P$ $n$ $P$
$lim_{n \to \infty} inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = 0 ?$ $\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0?$

$D(P\|Q)$ $Q$ $P$ $P$ $n$

inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = \infty

$\inf_{\hat{P}\in S_n} D(P||\hat{P})=\infty$

$P$

$P$ $N$ $\hat{P}$ $P$ $\delta(P,\hat{P})<\varepsilon$ $D(P||\hat{P})$ $\epsilon$

아니요. 위의 동일한 예가 적용됩니다.

$X\sim P_X$ $Y\sim P_Y$ $\hat{X} \sim Q_X, \hat{Y} \sim Q_Y$ $\delta(P,Q)<\epsilon$
$| m m s e (X | X + Y) - m m s e (\hat{X} | \hat{X} + \hat{Y}) |,$ $\left|\mathsf{mmse}(X|X+Y)-\mathsf{mmse}(\hat{X}| \hat{X}+\hat{Y})\right|,$ $X$ $Y$ $\hat{X}$ $\hat{Y}$

$X,Y,\hat{X},\hat{Y}$ $E[X|Y]$ $E[\hat{X}|\hat{Y}]$ $|E_P[(E_P[X|Y]-X)^2]-E_Q[(E_Q[X|Y]-X)^2]|$ $TV(P,Q)$

나는 일반적으로 또는 P, Q에서 가정 한 여분의 추가 구조를 사용하거나 반례를 제시하여 이것을 증명할 수 없었습니다.

포아송 노이즈와 같은 비가 산 노이즈 모델에 적용 할 수 있습니까?

모호합니다. 이전 질문과 관련하여 해당 답변의 진술이 일반적으로 입증 될 수 있다면 대답은 그렇습니다.

— 열심
소스