최대 우도 추정을위한 폐쇄 형 솔루션이있는 분포는 무엇입니까?

독립 관측치 표본의 모수에 대한 최대 우도 추정치에 대한 폐쇄 형 솔루션이있는 분포는 무엇입니까?

눈에 띄는 일반성 손실이 없으면 관측치 ( 관측치 중 대한 확률 밀도 (또는 질량) )가 엄격하게 양수라고 가정하여 지수로 쓸 수 있습니다.x i$f(x_i)$$x_i$$n$

$$f(x_i) = \exp{(g(x_i,\theta))}$$

매개 변수 벡터 입니다.$\theta = (\theta_j)$

로그 우도 함수의 기울기를 0으로 동일시 (우연한 정지 점을 찾음, 그 중에서도 내부의 모든 최대 최대 값을 찾습니다)는 다음과 같은 형식의 방정식을 제공합니다.

$$\sum_i\frac{d g(x_i, \theta)}{d\theta_j} = 0,$$

각 마다 하나씩 . 이들 중 하나가 준비된 솔루션을 갖기 위해 항을 항 과 분리 할 수 ​​있기를 원합니다 . ( 수학적 게으름 의 원리에 의해 동기 부여되는이 핵심 아이디어에서 모든 것이 흐릅니다 . 가능한 한 적은 작업을 수행하고, 계산하기 전에 미리 생각하고, 어려운 문제의 쉬운 버전을 먼저 해결하십시오.)이를 수행하는 가장 일반적인 방법은 방정식을 취하는 것입니다. 형태x i θ$j$$x_i$$\theta$

$$\sum_i \left(\eta_j(\theta) \tau_j(x_i) - \alpha_j(\theta)\right) = \eta_j(\theta)\sum_i \tau_j(x_i) - n \alpha_j(\theta)$$

알려진 함수 , 및 에 대해 솔루션은 동시 방정식을 풀어서 얻습니다.τ j α $\eta_j$$\tau_j$$\alpha_j$

$$\frac{n\alpha_j(\theta)}{\eta_j(\theta)}= \sum_i \tau_j(x_i)$$

대한 . 일반적으로 이러한 해결하기 어려울 수 있지만, 값 세트가 제공됩니다 에 대한 전체 정보 제공 , 우리가 할 수를 단순히 대신 이 벡터를 사용하십시오 (따라서 "폐쇄 된 형태"솔루션의 개념을 다소 일반화하지만 생산성이 높은 방식으로). 이 경우 와 관련하여 통합 하면( N α J ( θ $\theta$θθθ$\left(\frac{n\alpha_j(\theta)}{\eta_j(\theta)}\right)$$\theta$ $\theta$$\theta_j$

$$g(x, \theta) = \tau_j(x)\int^\theta \eta_j(\theta) d\theta_j - \int^\theta \alpha_j(\theta) d\theta_j + B(x, \theta_j')$$

(여기서 는 제외한 의 모든 구성 요소를 ) 왼쪽은 와 기능적으로 독립적이므로 일부 고정 함수 대해 가 있어야합니다 . 그 는 에 전혀 의존해서는 안된다 ; 상기 일부 기능의 유도체 및 다른 함수의 유도체이다 데이터, 그 양자는 기능적으로 독립. 어떻게 θ θ j θ j τ j ( x ) = T ( x ) T B θ η j H ( θ ) α j A ( θ $\theta_j'$$\theta$$\theta_j$$\theta_j$$\tau_j(x)=T(x)$$T$$B$$\theta$$\eta_j$$H(\theta)$$\alpha_j$$A(\theta)$

$$g(x, \theta) = H(\theta)T(x) - A(\theta) + B(x).$$

이 형식으로 작성할 수있는 밀도는 잘 알려진 Koopman-Pitman-Darmois 또는 지수 적 패밀리를 구성합니다. 여기에는 감마, 법선, 카이 제곱, 포아송, 다항식 및 기타 여러 가지를 포함하여 연속 및 이산의 중요한 파라 메트릭 패밀리가 포함 됩니다 .

모두 나열 할 수 있는지 모르겠습니다. 지수, 정상 및 이항식이 떠오를 때 모두 지수 군으로 분류됩니다. 지수 군은 지수에 충분한 통계량을 가지고 있으며, mle은 종종이 충분한 통계량의 훌륭한 기능입니다.