지수 가족 : 관측 된 통계 대 충분한 통계

내 질문은 Minka의 "Dirichlet 분포 추정" 을 읽는 것에서 비롯됩니다 . 이는 임의의 벡터의 관측을 기반으로 Dirichlet 분포에 대한 최대 우도 추정치를 도출하는 맥락에서 다음과 같은 증거를 제시합니다.

지수 패밀리에서 항상 그렇듯이 기울기가 0 일 때 예상되는 충분한 통계는 관측 된 충분한 통계와 같습니다.

나는 이런 식으로 제시된 지수 패밀리에서 최대 가능성 추정을 보지 않았으며, 검색에서 적절한 설명을 찾지 못했습니다. 누군가가 관측 된 통계와 예상 된 통계 사이의 관계에 대한 통찰력을 제공하고 차이를 최소화하는 것으로 최대 가능성 추정을 이해하도록 도울 수 있습니까?

이것은 지수 가족에 대한 일반적인 주장이지만, 대부분의 경우 경험이 적은 독자를 혼란스럽게 할 수있는 방식으로 언급됩니다. 액면가에서 취한 값은 "임의의 변수가 지수 패밀리의 분포를 따르는 경우 다음과 같이 해석 할 수 있습니다. 그런 다음 표본을 추출하여 충분한 통계량에 삽입하면 통계 의 실제 예상 값을 얻습니다. ". 만약에 그랬다면 ... 더 많은 것은 샘플의 크기를 고려하지 않으며, 이는 더 혼란을 야기 할 수 있습니다.

지수 밀도 함수는

$$f_X(x) = h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)} \tag{1}$$

여기서 는 충분한 통계량입니다.$T(x)$

이것은 밀도이므로 단일성과 통합되어야하므로 ( 는 지원 )$S_x$$X$

$$\int_{S_x} h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}dx =1 \tag{2}$$

등식 모든 보유 하므로 두 측면을 구별 할 수 있습니다.$(2)$$\theta$

$$\frac {\partial}{\partial \theta} \int_{S_x} h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}dx =\frac {\partial (1)}{\partial \theta} =0 \tag{3}$$

차별화와 통합의 순서를 바꾸면

$$\int_{S_x} \frac {\partial}{\partial \theta} \left(h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}\right)dx =0 \tag{4}$$

우리가 가진 차별화를 수행

$$\frac {\partial}{\partial \theta} \left(h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}\right) = f_X(x)\big[T(x)\eta'(\theta) - A'(\theta)\big] \tag{5}$$

우리가 얻는 를 삽입$(5)$$(4)$

$$\int_{S_x} f_X(x)\big[T(x)\eta'(\theta) - A'(\theta)\big]dx =0$$

$$\Rightarrow \eta'(\theta)E[T(X)] - A'(\theta) = 0 \Rightarrow E[T(X)] = \frac {A'(\theta)}{\eta'(\theta)} \tag{6}$$

이제 우리는 묻습니다 : 의 왼쪽 은 실수입니다. 따라서 오른쪽도 실수가 아니라 함수 여야합니다 . 따라서 특정 에서 평가 해야하며 "true" 이어야합니다. 그렇지 않으면 왼쪽에 의 실제 예상 값이 없습니다 . 이를 강조하기 위해 실제 값을 표시하고 과 같이 씁니다.$(6)$$\theta$$\theta$$T(X)$$\theta_0$$(6)$

$$E_{\theta_0}[T(X)] = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\theta_0} \tag{6a}$$

우리는 이제 최대 가능성 추정으로 돌아갑니다 . 크기 의 표본에 대한 로그 우도 는 다음과 같습니다.$n$

$$L(\theta \mid \mathbf x) = \sum_{i=1}^n\ln h(x_i) +\eta(\theta)\sum_{i=1}^nT(x_i) -nA(\theta)$$

대한 도함수 를 하면 MLE을 얻는다$\theta$$0$

$$\hat \theta(x) : \frac 1n\sum_{i=1}^nT(x_i) = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\hat \theta(x)} \tag {7}$$

과 비교하십시오 . 오른쪽 측면은 하지 우리가 진정한 가치시 MLE 추정 히트 주장 할 수 없기 때문에, 동일. 따라서 왼쪽도 마찬가지입니다. 그러나 그 방정식을 기억하십시오. 는 모든 와 에도 적용됩니다. 따라서 eq. 은 와 관련하여 취할 수 있으므로 eq를 쓸 수 있습니다. 에 대한 :$(7)$$(6a)$$2$ $\theta$$\hat \theta$$3,4,5,6$$\hat \theta$$6a$$\hat \theta$

$$E_{\hat\theta(x)}[T(X)] = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\hat\theta(x)} \tag{6b}$$

과 결합 하여 유효한 관계로 연결됩니다.$(7)$

$$E_{\hat\theta(x)}[T(X)] = \frac 1n\sum_{i=1}^nT(x_i)$$

이것은 조사중인 주장이 실제로 말하는 것입니다 : MLE에서 알 수없는 모수에 대한 충분한 통계의 예상 값 (즉, 우리가 사용하면 얻을 수있는 분포의 첫 번째 원시 모멘트의 값) 대신에 ) 와 동일 )를 (그리고 단지 근사되지 평균 샘플로부터 계산 된 충분한 통계치 . $\hat \theta(x)$$\theta$$\mathbf x$

또한 표본 크기가 경우에만 "MLE에서 충분한 통계의 예상 값이 충분한 통계와 같습니다"라고 정확하게 말할 수 있습니다.$n=1$