지수 패밀리에 모든 분포가 포함되지 않는 이유는 무엇입니까?

나는 책을 읽고있다 :

감독, 패턴 인식 및 기계 학습 (2006)

지수 패밀리를 형식의 분포로 정의합니다 (식 2.194).

p (x | η) = h (x) g (η) \exp {η^{T} u (x)}

$p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\}$

그러나 $h(\mathbf x)$ 또는 $\mathbf u(\mathbf x)$ . 이것은 와 를 적절히 선택하여이 형태로 어떤 분포도 넣을 수있는 것은 아닙니다 (실제로 그들 중 하나만 올바르게 선택해야합니다!)? 그렇다면 어떻게 지수 군에 모든 확률 분포가 포함되지 않습니까? 내가 무엇을 놓치고 있습니까? $h(\mathbf x)$ $\mathbf u(\mathbf x)$

마지막으로, 제가 관심이있는 더 구체적인 질문은 이것입니다 : 베르누이 분포가 지수 패밀리에 있습니까? Wikipedia 는 그것이 사실이라고 주장하지만, 여기에 뭔가 혼란 스럽기 때문에 이유를 알고 싶습니다.

mathematical-statistics exponential-family

— 비콘
소스

Bernoulli 분포가 지수 패밀리에 있음을 증명하려면

라는 사실을 사용하여 그

f (x; μ) = \exp (\log (f (x; μ)))

$f(x; \mu) = \exp (\log( f(x; \mu)))$ 위치를 확인하십시오

— jld

명확히하기 위해 배포본을이 형식으로 작성할 수 있는지 또는 배포 패밀리를이 형식으로 작성할 수 있는지 묻고 있습니까? 후자의 질문에 대한 답변을 얻은 것 같습니다.

— Owen

@Owen 네, 이제 이것이 중요한 포인트라는 것을 알았습니다. 적절하게 설정 하고 을 설정하여이 형태로 모든 분포를 작성할 수 있지만,이 형태로 패밀리를 작성할 수 있음을 의미하지는 않습니다 .

h (x)

$h(\mathbf x)$

g = 1, u = 0

$g=1,\mathbf u= 0$

— becko

@becko, 맞습니다. 본문에있는 "지수 가족"이라는 표현은 하나의 지수 가족이 없기 때문에 다소 오해의 소지가 있습니다. 오히려 의 각 선택은 가족을 일으킨다. 많은 저자들이 대신 "지수 가족"이라고 말하면서 이것을 더 명확하게합니다. 예를 들어 Wikipedia 페이지를 참조하십시오 : en.wikipedia.org/wiki/Exponential_family

(h, g, u)

$(h, g, \mathbf u)$

— Brent Kerby

@becko 나는 당신의 주장이 주어진 분포가 지수 가족 의 한 구성원 일 수 있지만 어떤 분포의 가족이 지수 가족이 될 수는 없다는 것을 보여줍니다 .

— Matthew Drury 17 년

답변:

글쎄, 당신의 정의의 결과 : 것입니다 지원 매개 변수에 의해 색인 배포 가족의 에 의존하지 않는 . (확률 분포의 지원은 확률 1로, 즉 분포가있는 곳 에서 가장 적게 설정 한 (마감) 입니다.) 따라서 모수에 따라 지원이있는 분포 군에 대한 반례를 제공하는 것으로 충분합니다. 가장 쉬운 예는 다음과 같은 균일 분포 분포입니다.

p (x | η) = h (x) g (η) \exp {η^{T} u (x)}

$p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\}$

η

$\eta$

η

$\eta$

U (0, η), η > 0

$\text{U}(0, \eta), \quad \eta > 0$ . @Chaconne의 다른 답변은보다 정교한 반례를 제공합니다.

— 크 제틸 비 할보 르센
소스

비 중앙 라플라스 분포

f (x; μ, σ) \propto \exp (- | x - μ | / σ) .

$f(x; \mu, \sigma) \propto \exp \left(-| x - \mu | / \sigma \right).$

하지 않는 한 당신이 쓰기에 할 수 없습니다 와 일부 함수 사이의 내부 곱으로 . $\mu = 0$ $|x - \mu|$ $\mu$ $x$

지수 계열에는 일반적으로 발생하는 멋진 명명 된 분포의 대다수가 포함되므로 처음에는 관심있는 모든 것이있는 것처럼 보일 수 있지만 결코 완전한 것은 아닙니다.

— jld
소스