왜 윌크스의 1938 증거가 잘못 지정된 모델에 대해 작동하지 않습니까?

유명한 1938 년 논문 ( " 복합 가설 테스트를위한 가능성 비율의 대규모 표본 분포 ", Annals of Mathematical Statistics, 9 : 60-62)에서 Samuel Wilks는 (로그 가능성 비율) 의 점근 분포를 도출했습니다. 더 큰 가설이 올바르게 지정되었다는 가정하에 내포 된 가설의 경우 제한 분포는 자유도를 갖는 (chi-squared)이며 , 여기서 는 더 큰 가설의 모수의 수이고 $2 \times LLR$ $\chi^2$ $h-m$ $h$ $m$ 중첩 된 가설의 자유 매개 변수 수입니다. 그러나 가설이 잘못 지정 될 때 (즉, 더 큰 가설이 샘플링 된 데이터에 대한 실제 분포가 아닌 경우)이 결과가 유지되지 않는 것으로 잘 알려져 있습니다.

아무도 이유를 설명 할 수 있습니까? Wilks의 증거는 여전히 약간의 수정으로 작동해야합니다. 그것은 잘못 지정된 모델로 여전히 유지되는 최대 가능성 추정치 (MLE)의 점근 적 정상성에 의존합니다. 유일한 다름은 제한 다변량 법선의 공분산 행렬입니다. 올바르게 지정된 모형의 경우 역 피셔 정보 행렬 을 사용 하여 공분산 행렬을 근사화 할 수 있습니다. 잘못 지정하면 공분산 행렬의 샌드위치 추정값을 사용할 수 있습니다 ( ). 모델이 올바르게 지정되면 후자는 피셔 정보 매트릭스의 역으로 줄어 듭니다 ( 이후) $J^{-1}$ $J^{-1} K J^{-1}$ $J = K$ ). AFAICT, Wilks 증거는 MLE에 대한 다변량 법선의 비 변형 공변량 공분산 행렬 ( Wilks 논문의 이있는 한 공분산 행렬의 추정치가 어디에서 나오는지 상관하지 않습니다 . $c^{-1}$

— 랫살
소스

더 큰 모형이 참이지만 하위 모형이 거짓이면 점근 분포가 더 이상

가 아닙니다 (예를 들어 가우시안 오차가있는 선형 모형에서는 정확한 비 중앙 -F 분포와 같은 것을 얻으므로 점근 분포는 nc-

와 같아야합니다.

나는 추측하고있다. 그렇다면 더 큰 모델 과 작은 모델이 모두 잘못 되었을 때 왜

가 될 것으로 예상 합니까? 여기서 귀무 가설은 정확히 무엇입니까?

χ^{2}

$\chi^2$

χ^{2}

$\chi^2$

χ^{2}

$\chi^2$

— guy

올바르게 지정된 귀무 가설에서 두 모델은 모두 "true"이지만 중첩 된 모델에는

매개 변수가 true로 고정되어 있습니다. 잘못 지정된 귀무 가설에서 두 모델은 모두 "거짓"이지만 중첩 된 모형에는 유사 값으로 고정 된

매개 변수 가 있습니다. ( "Pseudotrue value"는 잘못 지정된 모델과 실제 모델 사이의 Kullback-Liebler 거리를 최소화하는 매개 변수의 점근 값입니다). 따라서 noncentral-F에 대한 귀하의 예는 적합하지 않습니다. 왜냐하면 그것은 귀무 가설이 거짓 일 때의 분포이기 때문입니다.

m

$m$

m

$m$

— ratsalad

죄송합니다. 중첩 된 가설 에 실제 값으로 고정 된

매개 변수 가 있다고 말해야 합니다.

h - m

$h-m$

— ratsalad

잘못 지정 된 null 모델을 여러 가지 방법으로 잘못 지정할 수 있다는 것을 이해합니다. 예를 들어, 잔차의 잘못된 분포, 데이터의 이분산성, 효과는 부가 적이 지 않습니다. 그러나

"테스트 된"매개 변수 중 하나 이상 이 잘못된 값 (예 : 의사 진정 값)으로 고정 된 경우 동의합니다. 이는 잘못 지정된 null 모델의 한 예입니다.

h - m

$h - m$

— rcorty

답변:

RV Foutz와 RC Srivastava는이 문제를 자세히 조사했습니다. 그들의 1977 년 논문 "모델이 틀렸을 때의 가능성 비율 테스트의 성능" 은 증거의 아주 간단한 스케치와 함께 잘못 지정된 경우의 분포 결과에 대한 진술을 포함하고 있으며, 1978 년 논문은 "가능성 비율의 점근 적 분포 모델이 잘못되었습니다 " 는 증거를 포함하지만 후자는 구식 타자기로 입력됩니다 (두 논문 모두 동일한 표기법을 사용하므로 읽을 때 조합 할 수 있습니다). 또한 증명의 일부 단계에 대해서는 1957 년 KP Roy의 "증가 비율의 점근 분포에 대한 참고 사항"이라는 논문을 참조합니다.

분포가 잘못 지정된 경우, MLE가 여전히 일관되고 무증상으로 정상인 경우 ( 항상 그런 것은 아님 ), LR 통계는 무조건 독립적 인 카이-제곱의 선형 조합 (각 자유도)을 따릅니다.

- 2 \ln λ \overset{d}{\to} \sum_{i = 1}^{r} c_{i} χ_{i}^{2}

$-2\ln \lambda \xrightarrow{d} \sum_{i=1}^{r}c_i\mathcal \chi^2_i$

여기서 입니다. "유사성"을 볼 수 있습니다 : 자유도를 가진 하나의 카이 제곱 대신에 , 우리는 각각 하나의 자유도를 가진 카이 제곱을가집니다. 그러나 카이-제곱의 선형 조합은 닫힌 형태 밀도를 갖지 않기 때문에 "분석"은 여기서 멈 춥니 다. 각각의 스케일 된 카이-제곱은 감마이지만 감마 에 대해 다른 스케일 파라미터를 초래 하는 다른 파라미터를 가지고 있으며 이러한 감마의 합은 값을 계산할 수는 있지만 닫힌 형태는 아닙니다. $r=h-m$ $h-m$ $h-m$ $c_i$

를 들어 상수, 우리가 이면 행렬의 고유 값입니다. 어떤 행렬입니까? 표기법을 사용하여 를 로그 우도의 Hessian으로, 를 로그 우도 의 기울기의 외부 곱으로 설정합니다 (예상 용어로). 그래서 MLE의 점근 분산 공분산 행렬이다. $c_i$ $c_1 \geq c_2\geq ...c_r \geq0$ $\Lambda$ $C$ $V = \Lambda^{-1} C (\Lambda')^{-1}$

그런 다음 을 의 상단 대각선 블록으로 설정하십시오 . $M$ $r \times r$ $V$

블록 형태로 를 쓰십시오 $\Lambda$

Λ = [\begin{matrix} Λ_{r \times r} & Λ_{2}^{'} \\ Λ_{2} & Λ_{3} \end{matrix}]

$\Lambda =\left [\begin {matrix} \Lambda_{r\times r} & \Lambda_2'\\ \Lambda_2 & \Lambda_3\\ \end{matrix}\right]$

세트 및 ( 의 슈어 보수의 부정 ). $W = -\Lambda_{r\times r}+\Lambda_2'\Lambda_3^{-1}\Lambda_2$ $W$ $\Lambda$

이어서 의 행렬의 고유 값 파라미터의 실제 값에서 평가는. $c_i$ $MW$

부록
의견에서 OP의 유효한 의견에 응답하여 (때로는 질문이 더 일반적인 결과를 공유하기위한 발판이되며 프로세스에서 무시 될 수 있음) Wilks의 증거 진행 방법은 다음과 같습니다. Wilks는 공동으로 시작합니다. MLE의 정규 분포 및 가능성 비율의 기능적 표현을 도출하기 위해 진행된다. 그의 등식까지. , 우리가 분포에 대한 잘못된 사양을 가지고 있다고 가정하더라도 증거는 앞으로 나아갈 수 있습니다. OP 메모에서와 같이, 분산 공분산 행렬의 용어는 잘못된 사양 시나리오에서 다를 수 있지만 모든 Wilks는 파생 상품을 취하고 식별합니다. 무의미한 용어. 그래서 그는 eq. $[9]$ $[9]$ 규격이 정확 하다면 우도 비 통계량 은 제곱 표준 정규 확률 변수 의 합일 뿐이 므로 자유도를 갖는 하나의 카이-제곱으로 분포됩니다 . ) $h-m$ $h-m$

- 2 \ln λ = \sum_{i = 1}^{h - m} {(\sqrt{n} \frac{{\hat{θ}}_{i} - θ_{i}}{σ_{i}})}^{2} \overset{d}{\to} χ_{h - m}^{2}

$-2\ln \lambda = \sum_{i=1}^{h-m}\left(\sqrt n\frac{\hat \theta_i - \theta_i}{\sigma_i}\right)^2 \xrightarrow{d} \mathcal \chi^2_{h-m}$

그러나 우리가 잘못 명시하면 중앙 및 확대 MLE을 확장하는 데 사용되는 용어 더 이상 화합에 동일 각 요소의 편차를 만들고, 그래서 카이 제곱으로 표준 정규 RV와 합으로 각 용어를 변환 할 조건 없습니다. 그리고 이러한 용어가 포함하기 때문에,하지기대치로그 우도 번째 유도체를 ...하지만 MLE 데이터와의 함수이기 때문에 기대 값은, 실제 분포에 대해 취해질 수 데이터는 실제 분포를 따르며, 로그 우도의 2 차 미분은 잘못된 밀도 가정을 기반으로 계산됩니다. $\sqrt n(\hat \theta -\theta)$

따라서 잘못 지정하면 우리가 할 수있는 최선은으로 조작하는 것입니다

- 2 \ln λ = \sum_{i = 1}^{h - m} {(\sqrt{n} \frac{{\hat{θ}}_{i} - θ_{i}}{a_{i}})}^{2}

$-2\ln \lambda = \sum_{i=1}^{h-m}\left(\sqrt n\frac{\hat \theta_i - \theta_i}{a_i}\right)^2$

- 2 \ln λ = \sum_{i = 1}^{h - m} \frac{σ_{i}^{2}}{a_{i}^{2}} {(\sqrt{n} \frac{{\hat{θ}}_{i} - θ_{i}}{σ_{i}})}^{2} = \sum_{i = 1}^{h - m} \frac{σ_{i}^{2}}{a_{i}^{2}} χ_{1}^{2}

$-2\ln \lambda = \sum_{i=1}^{h-m}\frac {\sigma_i^2}{a_i^2}\left(\sqrt n\frac{\hat \theta_i - \theta_i}{\sigma_i}\right)^2 = \sum_{i=1}^{h-m}\frac {\sigma_i^2}{a_i^2}\mathcal \chi^2_1$

이것은 스케일 된 카이-제곱 rv의 합이며 , 더 이상 자유도를 갖는 하나의 카이-제곱 rv로 분포되지 않는다 . OP가 제공 한 참조는 실제로 Wilks의 결과를 특별한 경우로 포함하는 이보다 일반적인 경우에 대한 매우 명확한 설명입니다. $h-m$

— 알레 코스 파파도풀로스
소스

따라서 이것은 모델이 잘못 지정되었을 때 표준 결과를 다시 표현한 것입니다. 이 결과는 여러 번 도출되고 다시 도출되었습니다. 내가 본 가장 명확하고 가장 밝은 파생물은 Kent 1982 " 우수 비율 테스트의 강력한 특성 "(Biometrika 69:19)에서 나온 것입니다. 그러나 당신은 내 질문에 대답하지 않았습니다. 내 질문은 구체적으로 Wilks 1938 증명과 실패한 이유에 관한 것입니다.

— ratsalad

Wilks의 1938 증명은 Wilks가 증명 에서 점근 공분산 행렬로 $J^{-1}$ 사용했기 때문에 작동하지 않습니다 . $J^{-1}$ 은 샌드위치 추정기 $J^{-1} K J^{-1}$ 아니라 음의 로그 가능성에 대한 헤 시안의 역수입니다 . Wilks 는 증거에서 의 $ij$ 번째 요소 를 로 참조합니다 . 것을 전제로함으로써 윌크스 (1938)라고 가정된다 $J$ $c_{ij}$ $J^{-1}KJ^{-1} = J^{-1}$ $K=J$ 는 Fisher Information Matrix 평등입니다. 확률 모델이 올바르게 지정되면 $K=J$ 입니다. 따라서 Wilks의 가정에 대한 한 가지 해석은 확률 모델이 올바르게 지정되었다는 더 강력한 가정을 가정하고 있다는 것입니다.

— RMG
소스