로지스틱 회귀 분석을위한 최대 가능성 추정기의 편차

로지스틱 회귀 분석에 대한 최대 가능성 추정기 (MLE)에 대한 몇 가지 사실을 알고 싶습니다.

일반적으로 로지스틱 회귀에 대한 MLE이 편향되어 있다는 것이 사실입니까? 나는 "예"라고 말할 것입니다. 예를 들어, 샘플 치수는 MLE의 점근 적 편향과 관련이 있습니다.

이 현상의 기본 예를 알고 있습니까?
MLE이 편향되어있는 경우 MLE의 공분산 행렬이 최대 우도 함수의 헤 시안의 역수라는 것이 사실입니까?

편집 : 나는이 공식을 꽤 자주 만났으며 아무런 증거없이; 그것은 나에게 아주 임의적 인 선택 인 것 같습니다.

— 아비투스
소스

이항 종속 변수가 있고 상수 및 이진 회귀 기 만있는 단순 이항 로지스틱 회귀 모델을 고려하십시오 . 여기서 는 로지스틱 cdf입니다. 입니다. $T$

Pr (Y_{i} = 1 ∣ T_{i} = 1) = Λ (α + β T_{i})

$\Pr(Y_i=1\mid T_i=1) = \Lambda (\alpha + \beta T_i)$

Λ

$\Lambda$

Λ (u) = {[1 + \exp {- u}]}^{- 1}

$\Lambda(u) = \left[1+\exp\{-u\}\right]^{-1}$

로짓 형식으로

\ln (\frac{Pr (Y_{i} = 1 ∣ T_{i} = 1)}{1 - Pr (Y_{i} = 1 ∣ T_{i} = 1)}) = α + β T_{i}

$\ln \left(\frac{\Pr(Y_i=1\mid T_i=1)}{1-\Pr(Y_i=1\mid T_i=1)}\right) = \alpha + \beta T_i$

크기가 표본이 있습니다 . 은 이고 은 이고 인 관측치 수를 나타냅니다 . 다음과 같은 추정 조건부 확률을 고려하십시오. $n$ $n_1$ $T_i=1$ $n_0$ $T_i=0$ $n_1+n_0=n$

\hat{Pr} (Y = 1 ∣ T = 1) \equiv {\hat{P}}_{1 | 1} = \frac{1}{n_{1}} \sum_{T_{i} = 1} y_{i}

$\hat \Pr(Y=1\mid T=1)\equiv \hat P_{1|1} = \frac 1{n_1}\sum_{T_i=1}y_i$

\hat{Pr} (Y = 1 ∣ T = 0) \equiv {\hat{P}}_{1 | 0} = \frac{1}{n_{0}} \sum_{T_{i} = 0} y_{i}

$\hat \Pr(Y=1\mid T=0)\equiv \hat P_{1|0} = \frac 1{n_0}\sum_{T_i=0}y_i$

그런 다음이 매우 기본적인 모델은 ML 추정기에 폐쇄 형 솔루션을 제공합니다.

\hat{α} = \ln (\frac{{\hat{P}}_{1 | 0}}{1 - {\hat{P}}_{1 | 0}}), \hat{β} = \ln (\frac{{\hat{P}}_{1 | 1}}{1 - {\hat{P}}_{1 | 1}}) - \ln (\frac{{\hat{P}}_{1 | 0}}{1 - {\hat{P}}_{1 | 0}})

$\hat \alpha = \ln\left(\frac{\hat P_{1|0}}{1-\hat P_{1|0}}\right),\qquad \hat \beta = \ln\left(\frac{\hat P_{1|1}}{1-\hat P_{1|1}}\right)-\ln\left(\frac{\hat P_{1|0}}{1-\hat P_{1|0}}\right)$

편견

하지만 와 대응하는 확률의 불편 추정량은 비 선형 대수 함수가 더 복잡한 모델을 발생하는 방식 -imagine에서 얻을 수 있기 때문에, MLEs는 바이어스된다 비선형 성 수준이 더 높습니다. $\hat P_{1|1}$ $\hat P_{1|0}$

그러나 확률 추정값은 일관성이 있기 때문에 편견이 사라집니다. 연산자를 예상 값과 로그에 직접 삽입하면 $\lim$

lim_{n \to \infty} E [\hat{α}] = E [\ln (lim_{n \to \infty} \frac{{\hat{P}}_{1 | 0}}{1 - {\hat{P}}_{1 | 0}})] = E [\ln (\frac{P_{1 | 0}}{1 - P_{1 | 0}})] = α

$\lim_{n\rightarrow \infty}E[\hat \alpha] = E\left[\ln\left(\lim_{n\rightarrow \infty}\frac{\hat P_{1|0}}{1-\hat P_{1|0}}\right)\right] = E\left[\ln\left(\frac{P_{1|0}}{1-P_{1|0}}\right)\right] =\alpha$

도 마찬가지입니다 . $\beta$

VLEANCE-COVARIANCE MATRIX OF MLE
위의 간단한 경우 추정기에 폐쇄 형 표현을 제공하는 경우 원칙적으로 정확한 유한 샘플 분포를 도출 한 다음 정확한 유한 샘플 분산-공분산 행렬을 계산할 수 있습니다. . 그러나 일반적으로 MLE에는 폐쇄 형 솔루션이 없습니다. 그런 다음 우리 는 점근 적 분산 공분산 행렬 의 일관된 추정 에 의지하는데 , 이는 실제로 MLE에서 평가 된 표본의 로그 우도 함수에 대한 헤 시안의 역수 (음수)입니다. 그리고 여기에 "임의 선택"은 없지만, 그것은 점근 론과 MLE (일관성 및 점근 법 정규성)의 점근 적 특성에서 됩니다. , $\theta_0 = (\alpha, \beta)$

\sqrt{n} (\hat{θ} - θ_{0}) \to_{d} N (0, - (E [H])^{- 1})

${\sqrt n}(\hat \theta-\theta_0)\rightarrow_d N\left(0, -(E[H])^{-1}\right)$

여기서 는 헤 시안입니다. 대략적으로 (대형) 유한 샘플의 경우 $H$

바르 (\hat{θ}) \approx - \frac{1}{엔} (이자형 [H])^{- 1} \approx - \frac{1}{엔} {(\frac{1}{엔} \hat{H})}^{- 1} = - {\hat{H}}^{- 1}

$\operatorname{Var}(\hat \theta) \approx -\frac 1n(E[H])^{-1}\approx -\frac 1n\left(\frac 1n\hat H\right)^{-1}=-\hat H^{-1}$

— 알레 코스 파파도풀로스
소스