GLM을 모델 평균화하기 위해 링크 또는 응답 척도로 예측을 평균화합니까?

"올바른"GLM의 응답 스케일에 대한 모델 평균 예측을 계산하려면?

링크 스케일에서 모델 평균 예측을 계산 한 다음 응답 스케일로 역변환하거나
예측을 반응 척도로 다시 변환 한 다음 모형 평균을 계산합니다.

모델이 GLM 인 경우 예측은 비슷하지만 같지 않습니다. 다른 R 패키지는 둘 다에 대한 옵션을 제공합니다 (기본값이 다름). 몇몇 동료들은 "모든 사람들이 # 2를하기 때문에"# 1이 잘못되었다고 주장했다. 내 직감에 따르면 # 1은 모든 선형 수학을 선형으로 유지하기 때문에 "정확하다"고 말합니다 (# 2는 선형 스케일이 아닌 것을 평균합니다). 간단한 시뮬레이션을 통해 # 2는 # 1보다 MSE가 매우 작은 것으로 나타났습니다. # 2가 맞다면 그 이유는 무엇입니까? 그리고 # 2가 맞다면 왜 내 이유 (선형 수학을 선형으로 유지)가 나쁜 추론입니까?

편집 1 : GLM의 다른 요소 수준에 대한 한계 평균 계산은 위에서 묻는 질문과 비슷한 문제입니다. Russell Lenth는 # 1 (emmeans 패키지)의 "타이밍"(그의 말)을 사용하여 GLM 모델의 한계 평균을 계산하며 그의 주장은 직관과 비슷합니다.

편집 2 : 예측 (또는 계수)이 "최상의"중첩 모델의 전체 또는 부분 집합에 대한 가중 평균으로 추정되는 모델 선택의 대안을 참조하기 위해 모델 평균화를 사용하고 있습니다 (아래 참조 및 R 패키지 참조) .

주어진 중첩 모델 (여기서 은 모델 대한 개별 대한 선형 예측 (링크 공간에서) , 은 위의 # 1을 사용한 모델 평균 예측 인 대한 가중치입니다 (링크의 평균) 스케일링 후 응답 스케일로 역변환)은 다음과 같습니다. $M$ $\eta_i^m$ $i$ $m$ $w_m$ $m$

{\hat{Y}}_{i} = g^{- 1} (\sum_{m = 1}^{M} w_{m} η_{i}^{m})

$\hat{Y}_i = g^{-1}\Big(\sum_{m=1}^M{w_m \eta_i^m}\Big)$

위의 # 2를 사용한 모델 평균 예측 (모든 예측을 역변환 한 후 응답 스케일의 평균)은 다음과 같습니다. $M$

{\hat{Y}}_{i} = \sum_{m = 1}^{M} w_{m} g^{- 1} (η_{i}^{m})

$\hat{Y}_i = \sum_{m=1}^M{w_m g^{-1}(\eta_i^m})$

모델 평균화의 일부 베이지안 및 빈번한 방법은 다음과 같습니다.

Hoeting, JA, Madigan, D., Raftery, AE and Volinsky, CT, 1999. 베이지안 모델 평균화 : 튜토리얼. 통계 과학, pp.382-401.
Burnham, KP and Anderson, DR, 2003. 모델 선택 및 다중 모델 추론 : 실용적인 정보 이론적 접근. 스프링거 과학 및 비즈니스 미디어.
Hansen, BE, 2007. 최소 제곱 모델 평균. 계량 경제학, 75 (4), pp.1175-1189.
Claeskens, G. and Hjort, NL, 2008. 모델 선택 및 모델 평균. 케임브리지 책.

R 패키지에는 BMA , MuMIn , BAS 및 AICcmodavg가 포함 됩니다. (참고 : 이것은 일반적으로 모델 평균화의 지혜에 대한 질문이 아닙니다.)

generalized-linear-model model-averaging

— JWalker
소스

귀하의 질문에 대한 답변이없는 이유는 다른 독자가 귀하의 질문을 이해하지 못했기 때문입니다. "모델 평균화"란 정확히 무엇을 의미합니까? 해결하려는 문제가 무엇인지 이해하도록 컨텍스트를 자세히 설명하십시오. 내가 볼 수있는 한, emmeans 패키지는 다른 모델의 예측을 평균화하지 않습니다.

— Gordon Smyth

이것에 대해 문의 해 주셔서 감사합니다. Russell Lenth 메모를 추가하면 내 질문에 혼란을 줄 수 있습니다. 나는 이것을 명확히하려고 노력했다. emmeans 패키지는 다른 요소의 레벨에 대해 한계 수단과 SE를 계산하며 이러한 통계는 링크 스케일에서 계산 된 후 역변환됩니다. "모델이 최선의 가이드" 섹션을 참조하십시오 .

— JWalker

이 질문에 대한 답변에 관심이 있습니다. 한편, 의견. 이 MSE 결과는 역변환 된 스케일로 계산됩니다. 동일한 시뮬레이션 결과로 링크 스케일로 계산할 때 MSE는 # 2보다 # 1보다 작을 것입니다. 그 이유는 표본 평균이 잘못된 척도로도 모집단 평균의 최소 제곱 추정기이기 때문입니다.

— Russ Lenth

추정기 또는 예측 변수를 결합하는 최적의 방법은 최소화하려는 손실 함수 (또는 최대화하려는 유틸리티 함수)에 따라 다릅니다.

일반적으로, 손실 함수가 응답 스케일에서 예측 오류를 측정하는 경우 응답 스케일의 평균 예측 변수가 정확합니다. 예를 들어 반응 척도에서 예상되는 제곱 예측 오차를 최소화하려는 경우 사후 평균 예측자가 최적이며 모형 가정에 따라 반응 척도의 평균 예측과 동일 할 수 있습니다.

선형 예측 변수 척도를 평균화하면 이산 모형의 성능이 매우 떨어질 수 있습니다. 이항 반응 변수의 확률을 예측하기 위해 로지스틱 회귀를 사용한다고 가정합니다. 모형 중 하나에 추정 된 확률이 0 인 경우 해당 모형의 선형 예측 변수는 무한대를 뺀 것입니다. 여러 유한 값으로 무한의 평균을 취하는 것은 여전히 무한합니다.

귀하가 기재 한 참고 문헌을 참조 했습니까? 예를 들어 Hoeting et al (1999)은 손실 기능에 대해 자세히 설명하지만 확실하지는 않습니다.

— 고든 스미스
소스

우수한. 이 답변에 감사드립니다 (다른 사람들을 환영합니다!). 나는 "그런 다음 평균 예측자가 최적이거나 근접 할 가능성이 높다"고 응답 척도에서 평균 예측자를 사용한다고 가정합니다. 물류 메모가 특히 유용합니다.

— JWalker

@rvl 손실 함수의 선형성과 관련하여 손실의 영향 함수 측면에서 생각하고있었습니다. 나는 그것이 조금 비밀 스럽기 때문에 의견을 편집했습니다. 나는 당신의 다른 말에 동의하지 않습니다. GLM은 제곱 오차 손실이 아니라 ML로 추정됩니다. 이름에도 불구하고 GLM에 널리 사용되는 IRLS 알고리즘은 제곱합을 최소화하지 않으며 IRLS 작업 변수에는 링크 스케일이 아니라 응답 스케일에서 표준화 된 잔차가 포함됩니다. 어쨌든 추정과 예측은 동일하지 않으며 동일한 손실 함수를 가질 필요가 없습니다.

— Gordon Smyth

@rvl 로지스틱 회귀 분석에서 정확한 제로 피팅 값이 자주 발생하며이 포럼에서 여러 번 논의되었습니다.

— Gordon Smyth

@rvl 손실은 링크 스케일에서 평가되지 않습니다. 이 토론은 GLM에 대한 자습서를 제공하기에 적합한 곳이 아닙니다. 대신 Springer가 약 한 달 안에 게시 할 GLM에 대한 내 책을 참조합니다. 또한이 토론이 귀하가 원래 질문에 대한 대안적인 답변을 제공 할 수있는 적절한 장소도 아닙니다. 원한다면 정답을 작성하십시오.

— Gordon Smyth

여기 GLMS에 우리의 책에 대한 링크는 다음과 같습니다 doi.org/10.1007/978-1-4419-0118-7

— 고든 스미스