MCMC 기반 회귀 모델의 잔차 진단


21

최근에 MCMC 알고리즘 (실제로 R의 MCMCglmm 함수)을 사용하여 베이지안 프레임 워크에서 회귀 혼합 모델을 피팅하는 데 착수했습니다.

나는 추정 과정의 수렴을 진단하는 방법을 이해했다고 생각합니다 (추적, geweke 플롯, 자기 상관, 사후 분포 ...).

베이지안 프레임 워크에서 저를 놀라게하는 것 중 하나는 이러한 진단을 수행하기 위해 많은 노력을 기울이고있는 반면, 적합 모델의 잔차를 확인하는 데 있어서는 거의 수행되지 않는 것입니다. 예를 들어 MCMCglmm에 잔류 물 .mcmc () 함수는 존재하지만 실제로는 아직 구현되지 않았습니다 (예 : "MCMCglmm 객체에 대해 아직 잔여 물이 구현되지 않았습니다"; predict.mcmc ()에 대한 동일한 이야기). 다른 패키지도 부족한 것으로 보이며, 내가 찾은 문헌 (DIC과는 별도로 상당히 많이 논의 됨)에서 더 일반적으로 거의 논의되지 않았습니다.

누구든지 유용한 참고 자료와 이상적으로 내가 연주하거나 수정할 수있는 R 코드를 알려 줄 수 있습니까?

많은 감사합니다.


좋은 질문입니다. Bayesian 모델 검사에 대한 Cosma Shalizi와 함께 Andrew Gelman의 논문 을 정말 좋아 합니다.
David J. Harris

답변:


7

잔차라는 용어의 사용이 베이지안 회귀와 일치하지 않는다고 생각합니다. 잦은 확률 모델에서는 추정 가능한 고정 수량으로 간주되는 매개 변수이며 데이터 생성 메커니즘에는 관측 된 데이터와 관련된 임의 확률 모델이 있습니다. 베이지안의 경우 확률 모델의 매개 변수는 가변적 인 것으로 간주되며 고정 데이터는 해당 매개 변수에 대한 우리의 믿음을 업데이트합니다. 따라서 회귀 모형에서 관측 된 빼기 적합치 의 분산을 계산하는 경우 관측치구성 요소는 분산이 0 인 반면 적합 된 구성 요소는 모형 모수에 대한 사후 확률 밀도의 함수로 변합니다. 이것은 잦은 회귀 모델에서 파생되는 것과 반대입니다. Bayesian 회귀 모델의 확률 적 가정을 확인하는 데 관심이 있다면 정규 분포에 대한 모수 추정치의 사후 밀도 (MCMC 샘플링에서 추정)의 간단한 QQ 플롯에 잔차 (또는 Pearson 잔차 분석과 유사한 진단 능력이있을 것입니다) 비선형 링크 기능의 경우).


1
이것은 좋은 대답입니다. 관측 된-마이너스-적합 잔차로부터 계산 된 유용한 베이지안 구성을 제공하는 답변이 아직있을 수 있지만, 이것은 확실하게 하향 조정되어서는 안됩니다.
ely

3
또한 베이지안 설정에서는 실제로 "적합한"값이 없다는 것을 분명히 밝힐 가치가 있습니다. 주어진 관측치 입력에 대한 사후 평균을 계산하여 해당 입력에서 목표 변수의 예상 값에 대한 최대 사후 추정치를 얻을 수 있습니다. 그러나 이것은 모든 추정치를 가리 키기 위해 모든 것을 줄이며, 베이지안 추론을 수행하는 경우 일반적으로 바람직하지 않습니다.
ely

2
@EMS 그중 하나는 의미있는 잔차입니다. 베이지안이라고해서 가정이 데이터에 반영되는지 여부를 확인할 수 없다는 의미는 아닙니다.
Glen_b-복귀 모니카

1
빈번한 환경에서 정확한 확률 론적 추론 (정상 가정)을 위해, "잔여 물"은 연구 실험의 복제에서 "적합 된 값"(또는 조건 평균)과 조건 적으로 독립적 일 것이다. Bayes 세계에서 데이터는 무작위가 아니므로 조건부와 무관 한 것은 무엇입니까?
AdamO

1
이자형[와이|엑스]엑스와이
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.