모델 불확실성 해결

25

CrossValidated 커뮤니티의 베이지안이 어떻게 모델 불확실성 의 문제를보고 어떻게 다루고 싶어 하는지 궁금 했습니다. 나는 두 부분으로 내 질문을 제기하려고 노력할 것이다.

(경험 / 의견에서) 모델 불확실성을 다루는 것이 얼마나 중요합니까? 기계 학습 커뮤니티 에서이 문제에 관한 논문을 찾지 못했습니다. 그 이유가 궁금합니다.
모델 불확실성을 처리하는 일반적인 방법은 무엇입니까 (참조를 제공하면 보너스 포인트)? Bayesian 모델 평균화에 대해 들었지만이 접근법의 특정 기술 / 한계에 익숙하지 않습니다. 다른 사람들은 무엇이며 왜 서로 선호합니까?

machine-learning bayesian model-selection

— 새긴 금
소스

1

덜 인기있는 방법 (그러나 인기가 높아짐)은 모델의 예측 성능을 평가하는 스코어링 규칙 입니다.

17

모델 선택을 처리 할 때 발생하는 두 가지 경우가 있습니다.

실제 모델이 모델 공간에 속하는 경우.

이것은 BIC 사용을 다루는 매우 간단합니다 . BIC가 실제 모델을 높은 확률로 선택한다는 결과가 있습니다.

그러나 실제로 우리가 진정한 모델을 아는 것은 매우 드 rare니다. 나는 이것 때문에 BIC가 잘못 사용되는 경향이 있음을 언급해야한다 (아마도 AIC 와 비슷한 모양 일 것이다 ) . 이러한 문제는이 포럼에서 다양한 형태로 해결되었습니다. 좋은 토론이 여기 있습니다 .

실제 모형이 모형 공간에없는 경우.

이것은 베이지안 커뮤니티에서 활발한 연구 분야입니다. 그러나이 경우 모델 선택 기준으로 BIC를 사용하는 것이 위험하다는 것을 사람들은 알고 있습니다. 고차원 데이터 분석의 최근 문헌에서이를 보여줍니다. 그러한 예 중 하나는 이것 입니다. Bayes factor는 확실히 높은 차원에서 놀랍도록 잘 작동합니다. mBIC와 같은 BIC의 몇 가지 수정이 제안되었지만 합의는 없습니다. 그린의 RJMCMC 는 베이지안 모델 선택을 수행하는 또 다른 대중적인 방법이지만 자체 단점이 있습니다. 이에 대한 후속 조치를 취할 수 있습니다.

베이지안 세계에는 모델 평균화를 권장하는 또 다른 캠프가 있습니다. Raftery 박사.

베이지안 모델 평균화.

Chris Volinksy 의이 웹 사이트 는 베이지안 모델 평균의 포괄적 인 소스입니다. 다른 작품들도 있습니다 .

다시 한 번 베이지안 모델 선택은 여전히 활발한 연구 분야이며 요청한 사람에 따라 매우 다른 답변을 얻을 수 있습니다.

— 선 쿨수
소스

Bayes 요인이 높은 차원에서는 잘 수행되지만 BIC가 제대로 수행되지 않는 것에 대한 참고는 BIC 근사로 만드는 결정적 용어를 무시한 결과 일 수 있습니다. BIC는여기서 은 유익하고 은 예상 정보입니다. 모수 공간의 차원이 크면 은 특히 모형 간 모수 차원의 변동이 매우 큰 경우 근사치가 좋지 않습니다.

\log | A_{n} | \approx \log | n A_{1} | = p \log n + \log | A_{1} |

$\log|A_n|\approx\log|nA_1|=p\log n+\log|A_1|$

A_{n}

$A_n$

A_{1}

$A_1$

\log | A_{1} | = O (1)

$\log|A_1|=O(1)$

— chanceislogic

그것은 또한뿐만 아니라 실적이 저조 라플라스 근사로 인한 수

— probabilityislogic

11

"실제"베이지안은 모든 그럴듯한 모델에 대해 주 변화 (통합)함으로써 모델 불확실성을 다룰 것입니다. 예를 들어 선형 능선 회귀 문제의 경우 회귀 매개 변수 (가우시안 후부를 가지므로 분석적으로 수행 가능)에 대해 주 변화하지 않은 다음 MCMC를 통해 하이퍼-파레 미터 (소음 수준 및 정규화 매개 변수)에 대해 주 변화합니다. 행동 양식.

"더 적은"베이지안 솔루션은 모델 매개 변수를 한계 화하는 것이 아니라 모델의 한계 우도 ( "베이지안 증거"라고도 함)를 최대화하여 하이퍼 파라미터를 최적화하는 것입니다. 그러나 이로 인해 예상보다 더 많은 피팅이 발생할 수 있습니다 (예 : Cawley 및 Talbot 참조 ). 머신 러닝의 증거 극대화에 대한 정보 는 David MacKay 의 작업을 참조하십시오 . 비교 를 위해 유사한 문제에 대한 "모든 것을 통합"접근 방식에 대한 Radford Neal 의 작업을 참조하십시오 . 증거 프레임 워크는 통합이 너무 계산 비용이 많이 드는 상황에 매우 유용하므로 두 가지 접근 방식의 범위가 있습니다.

효과적으로 베이지안은 최적화보다는 통합합니다. 이상적으로는 솔루션의 특성 (예 : 부드러움)에 대한 이전의 믿음을 말하고 실제로 모델을 만들지 않고도 개념적으로 예측할 수 있습니다. 기계 학습에 사용되는 가우시안 프로세스 "모델"은 공분산 함수가 솔루션에 대한 사전 신념을 인코딩하는이 아이디어의 예입니다. Rasmussen과 Williams 의 훌륭한 책을보십시오 .

실용적인 베이지안의 경우 항상 교차 유효성 검사가 있으며 대부분의 경우 이길 수 없습니다!

— 디크 란 유대류
소스

11

"모델 불확실성"세계에서 내가 찾은 흥미로운 것 중 하나는 "진정한 모델"이라는 개념입니다. 이것은 내재적으로 "모델 제안"이 다음과 같은 형식임을 의미합니다.

M_{i}^{(1)} : The ith model is the true model

$M_i^{(1)}:\text{The ith model is the true model}$

여기에서 사후 확률 합니다. 이 절차는 개념적 수준에서 매우 모호한 것 같습니다. 제안이 철저 하다고 가정하는 것은 큰 부름 (또는 불가능한 계산) 입니다. 생산할 수있는 모든 모델 세트에는 아직 생각하지 못한 대체 모델이있을 것입니다. 그리고 무한 회귀도 마찬가지입니다 ... $P(M_i^{(1)}|DI)$ $M_i^{(1)}$

여기에서는 확률이 1에 더해 지므로 모델을 소외시킬 수 있기 때문에 철저 함이 중요합니다.

그러나 이것은 모두 개념적 수준입니다. 모델 평균화는 우수한 성능을 제공합니다. 따라서 이것은 더 나은 개념이 있어야 함을 의미합니다.

개인적으로 모델을 망치 나 드릴과 같은 도구로 본다. 모델은 우리가 관찰 할 수있는 것을 예측하거나 설명하는 데 사용되는 정신적 구성물입니다. "진정한 망치"와 "진정한 정신 구성"을 말하는 것도 마찬가지로 이상한 소리입니다. 이를 바탕으로 "진정한 모델"이라는 개념이 이상하게 보입니다. "올바른"모델과 "잘못된"모델보다는 "좋은"모델과 "나쁜"모델을 생각하는 것이 훨씬 더 자연스러운 것 같습니다.

이러한 관점을 고려할 때, 우리는 선택된 모델 중에서 "사용하기 가장 좋은"모델에 대해 불확실 할 수 있습니다. 그러므로 우리가 대신에 퇴비에 대해 추론한다고 가정하자.

M_{i}^{(2)} : Out of all the models that have been specified,

$M_i^{(2)}:\text{Out of all the models that have been specified,}$

the ith model is best model to use

$\text{the ith model is best model to use}$

이제 이것은 "모델 불확실성"에 대해 생각하는 훨씬 더 좋은 방법입니다. 우리는 어떤 모델이 "올바른"것이 아니라 어떤 모델을 사용해야하는지 확실하지 않습니다. 이것은 또한 모델 평균화가 더 나은 일처럼 보이게합니다 (어쨌든 나에게). 그리고 내가 알 수있는 한, BIC를 사용 하는 후자는 거칠고 쉬운 근사치로서 완벽하게 좋습니다. 또한, 제안 은 독점적 일뿐 만 아니라 철저 합니다. $M_{i}^{(2)}$ $M_{i}^{(2)}$

그러나이 방법에서는 "최상의"모델이 얼마나 좋은지 측정하기 위해 일종의 적합도 측정법이 필요합니다. 이는 일반적인 GoF 통계 (KL 발산, 카이-제곱 등)에 해당하는 "확실한 것"모델에 대해 테스트하여 두 가지 방법으로 수행 할 수 있습니다. 이를 측정하는 또 다른 방법은 모델 클래스에 매우 유연한 모델을 포함시키는 것입니다. 수백 가지 구성 요소가 포함 된 일반 혼합 모델 또는 Dirichlet 프로세스 혼합입니다. 이 모델이 최고로 나오면 다른 모델이 부적절 할 수 있습니다.

이 백서 는 이론적으로 잘 설명되어 있으며 실제로 모델 선택을 수행하는 방법에 대한 예를 단계별로 설명합니다.

— 확률 론적
소스

큰 +1. 매우 신중하고 명확한 분석.

— whuber

좋은 대답입니다. 특정 모델 클래스에서 볼 때 BIC는 훌륭합니다. 그러나 대부분의 경우 언급했듯이 실제 모델은 모델 공간 외부에 있습니다. 그런 다음 다시 언급했듯이 실제 모델과 "최고의 모델"간의 근접성은 합리적입니다. 이것들은 AIC와 다른 IC가 대답을 시도합니다. BMA는 작동하지만 작동하지 않는 것으로 나타났습니다. 이것은 나쁜 것이 아니라, 보편적 인 대안으로 생각할 때주의해야합니다.

— suncoolsu

1

BMA의 문제점은 맹목적으로 적용 할 수는 없지만 맹목적으로 적용 할 수 없다는 것입니다. 여전히 세트에서 가장 적합한 모델을 확인하고 모델이 얼마나 수용 가능한지 확인해야합니다. 내가 가장 좋아하는 "기본"방정식 중 하나는 입니다. 모든 모델이 빠지면 평균을 계산하는 것은 시간 낭비입니다. 평균화는 좋은 모델이 많을 때만 의미가 있지만 사용할 모델을 결정할 수는 없습니다.

C R A P = C R A P = \frac{1}{N} \sum_{i = 1}^{N} C R A P_{i}

$CRAP=CRAP=\frac{1}{N}\sum_{i=1}^{N} CRAP_i$

— probabilityislogic

4

나는 suncoolsu가 말한 것처럼 사람들이 DIC와 Bayes 요소를 사용한다는 것을 알고 있습니다. "BIC가 가능성이 높은 실제 모델을 선택한다는 것을 보여주는 결과가 있습니다"(참조?). 그러나 나는 내가 아는 유일한 것을 사용합니다. 앤드류 겔먼 (Andrew Gelman)이 이끄는 사후 예측 검사입니다. Andrew Gelman과 사후 예측 검사를 수행하면 많은 것을 찾을 수 있습니다. 그리고 Christian Robert 가 모델 선택에 관해 ABC 를 작성하는 것을 살펴 보겠습니다 . 어쨌든 여기에 내가 좋아하는 참고 문헌과 Gelman의 블로그에있는 최근 게시물이 있습니다.

블로그

DIC 및 AIC ; DIC에 대한 추가 정보 . 모델 확인 및 외부 검증

후방 예측 검사에 관한 논문 :

GELMAN, 앤드류 (2003a). “탐사 데이터 분석 및 적합도 테스트의 베이지안 공식화”. 국제 통계 검토, vol. 71, n.2, 389-382 쪽.

GELMAN, 앤드류 (2003b). “복잡한 모델에 대한 탐색 데이터 분석”. 전산 및 그래픽 통계 저널, vol. 13, n. 4, 755/779 쪽.

GELMAN, Andrew; MECHELEN, 이븐 반; VERBEKE, Geert; HEITJAN, Daniel F .; MEULDERS, Michel. (2005). “모델 검사를위한 다중 대치 : 결측 및 잠재 데이터가 포함 된 완성 된 데이터 도표”생체 측정 61, 74–85, 3 월

GELMAN, Andrew; MENG, Xiao-Li; 스턴, 할 (1996). "실현 된 불일치를 통한 모델 적합성의 예측 예측 평가". Statistica Sinica, 6, 733-807 쪽.

— 마 노엘 갈 디노
소스