GLM에 대한 정규화 변환 도출

$\newcommand{\E}{\mathbb{E}}$ 방법 인 정규화는 지수 가족 변환 유래? $A(\cdot) = \displaystyle\int\frac{du}{V^{1/3}(\mu)}$

더 구체적으로 : 나는 3 페이지의 Taylor 확장 스케치를 따르려고 노력했지만 여기에 슬라이드 1 이 있지만 몇 가지 질문이 있습니다. 함께 $X$ 지수 가족, 변환 $h(X)$ 및 $\kappa _i$ 의미하는데 $i^{th}$ cumulant 상기 슬라이드 주장 :

$$\kappa _3(h(\bar{X})) \approx h'(\mu)^3\frac{\kappa _3(\bar{X})}{N^2} + 3h'(\mu)^2h''(\mu)\frac{\sigma^4}{N} + O(N^{-3}),$$ 간단히 찾아야합니다.$h(X)$ 위의 값이 0이되도록 h (X) 됩니다.

1. 첫 번째 질문은 산술에 관한 것입니다. 테일러 확장에는 다른 계수가 있으며, 많은 용어가 빠졌음을 정당화 할 수 없습니다.

   $$\begin{align} \text{Since }h(x) &\approx h(\mu) + h'(\mu)(x - \mu) + \frac{h''(x)}{2}(x - \mu)^2\text{, we have:} \\ h(\bar{X}) - h(u) &\approx h'(u))(\bar{X} - \mu) + \frac{h''(x)}{2}(\bar{X} - \mu)^2 \\ \E\left(h(\bar{X}) - h(u)\right)^3 &\approx h'(\mu)^3 \E(\bar{X}-\mu)^3 + \frac{3}{2}h'(\mu)^2h''(\mu) \E(\bar{X} - \mu)^4 + \\ &\quad \frac{3}{4}h'(\mu)h''(\mu)^2 \E(\bar{X}-\mu)^5 + \frac{1}{8}h''(\mu)^3 \E(\bar{X} - \mu)^6. \end{align}$$

   중심 모멘트를 누적 등가물로 대체하여 비슷한 것을 얻을 수는 있지만 여전히 합산되지는 않습니다.

2. 두 번째 질문 : 왜 우리가 실제로 관심 을 가지는 X 대신 \ bar {X}로 분석을 시작 합니까?$\bar{X}$$X$

연결하는 슬라이드는 다소 혼란스럽고 단계를 생략하고 오타를 만들지 만 실제로는 정확합니다. 질문 2에 먼저 답한 다음 1에 답한 다음 마지막으로 대칭 변환$A(u) = \int_{-\infty}^u \frac{1}{[V(\theta)]^{1/3}} d\theta$ .

질문 2. 우리는 를 iid 랜덤 변수 의 크기 의 표본 평균으로 분석하고 있습니다. 과학에서 항상 같은 분포를 샘플링하고 평균을 취하기 때문에 이것은 중요한 양입니다. 가 실제 평균 얼마나 가까운 지 알고 싶습니다 . 중앙 한계 정리 (Central Limit Theorem)는 그것이 에 로 수렴한다고 말하지만 의 분산과 왜도를 알고 싶습니다 .$\bar{X}$$N$$X_1, ..., X_N$$\bar{X}$$\mu$$\mu$$N \to \infty$$\bar{X}$

질문 1. Taylor 계열 근사값은 정확하지 않지만 슬라이드와 동일한 결론을 얻으려면 대 및 거듭 제곱을 추적하는 데주의해야합니다 . 의 정의 와 중심 모멘트 부터 시작하여 의 공식을 도출해 .$\bar{X}$$X_i$$N$$\bar{X}$$X_i$$\kappa_3(h(\bar{X}))$

$\bar{X} = \frac{1}{N}\sum_{i=1}^N X_i$

$\mathbb{E}[X_i] = \mu$

$V(X_i) = \mathbb{E}[(X_i - \mu)^2] = \sigma^2$

$\kappa_3(X_i) = \mathbb{E}[(X_i - \mu)^3]$

이제 의 중심 순간 :$\bar{X}$

$\mathbb{E}[\bar{X}] = \frac{1}{N}\sum_{i=1}^N \mathbb{E}[X_i] = \frac{1}{N}(N\mu) = \mu$

$\begin{align} V(\bar{X}) &=\mathbb{E}[(\bar{X} - \mu)^2]\\ &=\mathbb{E}[\Big((\frac{1}{N}\sum_{i=1}^N X_i) - \mu\Big)^2]\\ &=\mathbb{E}[\Big(\frac{1}{N}\sum_{i=1}^N (X_i - \mu)\Big)^2]\\ &=\frac{1}{N^2}\Big(N\mathbb{E}[(X_i - \mu)^2] + N(N-1)\mathbb{E}[X_i - \mu]\mathbb{E}[X_j - \mu]\Big)\\ &= \frac{1}{N}\sigma^2 \end{align}$

마지막 단계는 이고 입니다. 이것은 의 가장 쉬운 파생은 아니지만 및 를 찾으려면 동일한 프로세스입니다. , 여기서 우리는 합의 곱을 나누고 다른 변수의 거듭 제곱으로 항의 수를 셉니다. 상기 경우에, 거기 형태로 이용 하였다 및 형태의 측면$\mathbb{E}[X_i - \mu] = 0$$\mathbb{E}[(X_i - \mu)^2] = \sigma^2$$V(\bar{X})$$\kappa_3(\bar{X})$$\kappa_3(h(\bar{X}))$$N$$(X_i - \mu)^2$$N(N-1)$$(X_i - \mu)(X_j - \mu)$ .

$\begin{align} \kappa_3(\bar{X}) &= \mathbb{E}[(\bar{X}-\mu)^3)]\\ &= \mathbb{E}[\Big((\frac{1}{N}\sum_{i=1}^N X_i) - \mu\Big)^3]\\ &= \mathbb{E}[\Big(\frac{1}{N}\sum_{i=1}^N (X_i - \mu)\Big)^3]\\ &= \frac{1}{N^3}\Big(N\mathbb{E}[(X_i - \mu)^3] + 3N(N-1)\mathbb{E}[(X_i - \mu)\mathbb{E}[(X_j - \mu)^2]+N(N-1)(N-2)\mathbb{E}[(X_i - \mu)]\mathbb{E}[(X_j - \mu)]\mathbb{E}[(X_k - \mu)]\\ &= \frac{1}{N^2}\mathbb{E}[(X_i - \mu)^3]\\ &= \frac{\kappa_3(X_i)}{N^2} \end{align}$

다음으로 확장하겠습니다.$h(\bar{X})$ 으로 Taylor 시리즈에서 를 합니다.

$h(\bar{X}) = h(\mu) + h'(\mu)(\bar{X} - \mu) + \frac{1}{2}h''(\mu)(\bar{X}-\mu)^2 + \frac{1}{3}h'''(\mu)(\bar{X}-\mu)^3 + ...$

$\begin{align} \mathbb{E}[h(\bar{X})] &= h(\mu) + h'(\mu)\mathbb{E}[\bar{X} - \mu] + \frac{1}{2}h''(\mu)\mathbb{E}[(\bar{X}-\mu)^2] + \frac{1}{3}h'''(\mu)\mathbb{E}[(\bar{X}-\mu)^3] + ...\\ &= h(\mu) + \frac{1}{2}h''(\mu)\frac{\sigma^2}{N} + \frac{1}{3}h'''(\mu)\frac{\kappa_3(X_i)}{N^2} + ...\\ \end{align}$

더 많은 노력으로 나머지 용어가 임을 증명할 수 있습니다. 마지막으로, , ( 와 동일하지 ), 다시 비슷한 계산을합니다.$O(N^{-3})$$\kappa_3(h(\bar{X})) = \mathbb{E}[(h(\bar{X})-\mathbb{E}[h(\bar{X})])^3]$$\mathbb{E}[(h(\bar{X})-h(\mu))^3]$

$\begin{align} \kappa_3(h(\bar{X})) &= \mathbb{E}[(h(\bar{X})-\mathbb{E}[h(\bar{X})])^3]\\ &=\mathbb{E}\Big[\Big(h(\mu) + h'(\mu)(\bar{X} - \mu) + \frac{1}{2}h''(\mu)(\bar{X}-\mu)^2 + O((\bar{X}-\mu)^3) - h(\mu) - \frac{1}{2}h''(\mu)\frac{\sigma^2}{N} - O(N^{-2})\Big)^3\Big] \end{align}$

우리는 순서의 결과에만 관심이 있으며 추가 작업을 통해 " 용어가 필요하지 않음을 보여줄 수 있습니다 "또는" "는 순서 의해서만 제 3의 힘을 취하기 전에$O(N^{-2})$$O((\bar{X}-\mu)^3)$$- O(N^{-2})$$O(N^{-3})$ . 그래서 단순화하면

$\begin{align} \kappa_3(h(\bar{X})) &= \mathbb{E}\Big[\Big(h'(\mu)(\bar{X} - \mu) + \frac{1}{2}h''(\mu)(\bar{X}-\mu)^2 - \frac{1}{2}h''(\mu)\frac{\sigma^2}{N})\Big)^3\Big]\\ &=\mathbb{E}\Big[h'(\mu)^3(\bar{X} - \mu)^3 + \frac{1}{8}h''(\mu)^3(\bar{X}-\mu)^6 - \frac{1}{8}h''(\mu)^3\frac{\sigma^6}{N^3} + \frac{3}{2}h'(\mu)^2h''(\mu)(\bar{X}-\mu)^4 + \frac{3}{4}h'(\mu)h''(\mu)(\bar{X}-\mu)^5 - \frac{3}{2}h'(\mu)^2h''(\mu)(\bar{X} - \mu)^2\frac{\sigma^2}{N} + O(N^{-3})\Big] \end{align}$

나는 이 제품에서 분명히 용어를 생략했다 . 및 이라는 용어는 과 같습니다.$O(N^{-3})$$\mathbb{E}[(\bar{X}-\mu)^5]$$\mathbb{E}[(\bar{X}-\mu)^6]$$O(N^{-3})$ 도 마찬가지입니다. 하나,

$\begin{align} \mathbb{E}[(\bar{X}-\mu)^4] &= \mathbb{E}[\frac{1}{N^4}\Big(\sum_{i=1}^N(\bar{X}-\mu)\Big)^4]\\ &=\frac{1}{N^4}\Big(N\mathbb{E}[(X_i-\mu)^4] + 3N(N-1)\mathbb{E}[(X_i-\mu)^2]\mathbb{E}[(X_j-\mu)^2] + 0\Big)\\ &=\frac{3}{N^2}\sigma^4 + O(N^{-3}) \end{align}$

그리고 우리의 방정식에 기대 배포 , 우리는이$\kappa_3(h(\bar{X}))$

$\begin{align}\kappa_3(h(\bar{X})) &= h'(\mu)^3\mathbb{E}[(\bar{X} - \mu)^3] + \frac{3}{2}h'(\mu)^2h''(\mu)\mathbb{E}[(\bar{X}-\mu)^4] - \frac{3}{2}h'(\mu)^2h''(\mu)\mathbb{E}[(\bar{X} - \mu)^2]\frac{\sigma^2}{N} + O(N^{-3})\\ &= h'(\mu)^3\frac{\kappa_3(X_i)}{N^2} + \frac{9}{2}h'(\mu)^2h''(\mu)\frac{\sigma^4}{N^2} - \frac{3}{2}h'(\mu)^2h''(\mu)\frac{\sigma^4}{N^2} + O(N^{-3})\\ &=h'(\mu)^3\frac{\kappa_3(X_i)}{N^2} + 3h'(\mu)^2h''(\mu)\frac{\sigma^4}{N^2} + O(N^{-3}) \end{align}$

이것으로 의 유도가 끝납니다 . 이제 마지막으로 대칭 변환$\kappa_3(h(\bar{X}))$$A(u) = \int_{-\infty}^u \frac{1}{[V(\theta)]^{1/3}} d\theta$ 합니다.

이 변환에서 가 지수 패밀리 분포, 특히 자연 지수 패밀리 (또는이 분포로 변환 된 것)에서$X_i$$f_{X_i}(x;\theta) = h(x)\exp(\theta x - b(\theta))$

이 경우 분포의 은 됩니다. 따라서 , 및 입니다. 쓰고 의 역수를 취하는 함수로 매개 변수를 쓸 수 있습니다 . 그때$\kappa_k = b^{(k)}(\theta)$$\mu = b'(\theta)$$\sigma^2 = V(\theta) = b''(\theta)$$\kappa_3 = b'''(\theta)$$\theta$$\mu$$b'$$\theta(\mu) = (b')^{-1}(\mu)$

$\theta'(\mu) = \frac{1}{b''((b')^{-1}(\mu))} = \frac{1}{b''(\theta))} = \frac{1}{\sigma^2}$

다음으로 분산을 의 함수로 작성 하고이 함수를$\mu$$\bar{V}$ .

$\bar{V}(\mu) = V(\theta(\mu)) = b''(\theta(\mu))$

그때

$\frac{d}{d\mu}\bar{V}(\mu) = V'(\theta(\mu))\theta'(\mu) = b'''(\theta)\frac{1}{\sigma^2} = \frac{\kappa_3}{\sigma^2}$

따라서의 함수로서 ,$\mu$$\kappa_3(\mu) = \bar{V}'(\mu)\bar{V}(\mu)$ .

이제 대칭 변환을 위해 를 만들어 의 왜도를 줄이려고합니다. 이므로 는$h(\bar{X})$$h'(\mu)^3\frac{\kappa_3(X_i)}{N^2} + 3h'(\mu)^2h''(\mu)\frac{\sigma^4}{N^2} = 0$$h(\bar{X})$$O(N^{-3})$ 입니다. 따라서 우리는 원합니다

$h'(\mu)^3\kappa_3(X_i) + 3h'(\mu)^2h''(\mu)\sigma^4 = 0$

및 대한 표현을 함수로$\sigma^2$$\kappa_3$$\mu$ 같습니다.

$h'(\mu)^3\bar{V}'(\mu)\bar{V}(\mu) + 3h'(\mu)^2h''(\mu)\bar{V}(\mu)^2 = 0$

따라서 이므로$h'(\mu)^3\bar{V}'(\mu) + 3h'(\mu)^2h''(\mu)\bar{V}(\mu) = 0$$\frac{d}{d\mu}(h'(\mu)^3\bar{V}(\mu)) = 0$ 입니다.

이 미분 방정식에 대한 한 가지 해결책은 다음과 같습니다.

$h'(\mu)^3\bar{V}(\mu) = 1$ ,

$h'(\mu) = \frac{1}{[\bar{V}(\mu)]^{1/3}}$

따라서 는 상수 입니다. 이것은 대칭 변환 . 여기서 는 다음과 같은 분산입니다. 자연 지수 가족에서 평균의 함수.$h(\mu) = \int_c^\mu \frac{1}{[\bar{V}(\theta)]^{1/3}} d\theta$$c$$A(u) = \int_{-\infty}^u \frac{1}{[V(\theta)]^{1/3}} d\theta$$V$

$\blacksquare$ 1.Why 내가 noncentral 순간의 측면에서 근사하여 동일한 결과를 얻을 수 없습니다 한 후 중앙 순간 계산$\mathbb{E}\bar{X}^k$$\mathbb{E}(\bar{X}-\mathbb{E}\bar{X})^k$ 대략적인 비 중심 모멘트를 사용하는 ?

파생을 임의로 변경하고 중요한 잔차 항을 삭제하기 때문입니다. 큰 O 표기법 및 관련 결과에 익숙하지 않은 경우 [Casella & Lehmann]을 참조하십시오.

$$h(\bar{X}) - h(u) \approx h'(u)(\bar{X} - \mu) + \frac{h''(x)}{2}(\bar{X} - \mu)^2 +O[(\bar{X} - \mu)^3]$$

$$\mathbb{E}[h(\bar{X}) - h(u)] \approx h'(u)\mathbb{E}(\bar{X} - \mu) + \frac{h''(x)}{2}\mathbb{E}(\bar{X} - \mu)^2+(?)$$

그러나 항상 (법적이지 않습니다 ...)를 하고 있다고 주장하여 잔류 물을 떨어 뜨리지 않아도 다음 단계 : 라고된다$N\rightarrow \infty$

$$\E\left(h(\bar{X}) - h(u)\right)^3 \approx h'(\mu)^3 \E(\bar{X}-\mu)^3 + \frac{3}{2}h'(\mu)^2h''(\mu) \E(\bar{X} - \mu)^4 + \frac{3}{4}h'(\mu)h''(\mu)^2 \E(\bar{X}-\mu)^5 + \frac{1}{8}h''(\mu)^3 \E(\bar{X} - \mu)^6. (1)$$ $$\int [h(x)-h(x_0)]^3dx=\int [h'(x_0)(x-x_0)+\frac{1}{2}h''(x_0)(x-x_0)^2+O((x-x_0)^3)]^3dx=(1)$$

이것이 여전히 명확하지 않다면, 우리는 정수 확장의 대수가

$[h'(x_0)(x-x_0)+\frac{1}{2}h''(x_0)(x-x_0)^2+O((x-x_0)^3)]^3(2)$

시키는 , ,$A=h'(x_0)(x-x_0)$$B=\frac{1}{2}h''(x_0)(x-x_0)^2$$C=O((x-x_0)^3)$ $(2)=[A+B+C]^3$ $\color{red}{\neq}[A^3+3A^2 B+3A B^2+B^3]=[A+B]^3=(1)$

실수는 확장 전에 잔류 물을 생략하는 것인데, 이는 큰 O 표기법에서 "고전적인"실수이며 나중에 큰 O 표기법의 사용에 대한 비판이되었습니다.

$\blacksquare$ 2. 왜 분석 이 대신 시작$\bar{X}$$X$ 우리가 실제로 관심 합니까?

우리는 우리가 소개하고있는 지수 모델의 충분한 통계량을 바탕으로 분석을 수행하기를 원하기 때문입니다. 표본 크기가 1 인 경우 OR 분석하든 차이가 없습니다.$\bar{X}=\frac{1}{n}\sum_{i=1}^{n}X_i$$X_1$ .

이것은 GLM과 관련이 없지만 큰 O 표기법에서 좋은 교훈입니다 ...

참조 [Casella 및 레만] 레만 에리히 레오 및 조지 카셀라. 포인트 추정 이론. Springer Science & Business Media, 2006.