모델 선택 베이지안 또는 교차 검증에 가장 적합한 방법은 무엇입니까?

다양한 모델 또는 포함 할 기능의 수를 선택하려고 할 때 예측이라고하면 두 가지 접근법을 생각할 수 있습니다.

1. 데이터를 학습 및 테스트 세트로 분할하십시오. 더 나은 방법은 부트 스트랩 또는 k- 폴드 교차 검증을 사용하는 것입니다. 매번 훈련 세트를 훈련시키고 테스트 세트에 대한 오차를 계산하십시오. 테스트 오류 대 매개 변수 수를 플로팅합니다. 일반적으로 다음과 같은 것을 얻습니다.
2. 모수 값을 통합하여 모형의 가능성을 계산합니다. 즉, 를 계산하고이를 매개 변수 수에 대해 플로팅합니다. 그런 다음 다음과 같은 것을 얻습니다.$\int_\theta P(D|\theta)P(\theta)d \theta$

그래서 내 질문은 :

1. 이러한 접근 방식이이 문제를 해결하는 데 적합합니까 (모델에 포함 할 매개 변수 수 결정 또는 여러 모델 중에서 선택)?
2. 그것들은 동등합니까? 아마 아닙니다. 특정 가정이나 실제 상황에서 동일한 최적의 모델을 제공합니까?
3. 베이지안 모델 등에서 사전 지식을 지정하는 일반적인 철학적 차이 외에, 각 접근법의 장단점은 무엇입니까? 어느 것을 선택 하시겠습니까?

업데이트 : 또한 AIC와 BIC 비교에 관한 관련 질문 을 찾았습니다 . 내 방법 1은 AIC와 무증상이고 방법 2는 BIC와 무증상으로 보입니다. 그러나 나는 또한 BIC가 Leave-One-Out CV와 동일하다는 것을 읽었습니다. 이는 LOO CV가 K- 폴드 CV와 동일한 경우 훈련 오류 최소값과 베이지안 우도 최대 값이 동일 함을 의미합니다. Jun Shao 의 매우 흥미로운 논문 인“ 선형 모델 선택에 대한 점근 론 ”은 이러한 문제와 관련이 있습니다.

1. 이러한 접근 방식이이 문제를 해결하는 데 적합합니까 (모델에 포함 할 매개 변수 수 결정 또는 여러 모델 중에서 선택)?

둘 중 하나 일 수 있습니다. 고려중인 모델 목록 중에서 가장 잘 예측하는 모델을 얻는 데 관심이있는 경우 분할 / 교차 유효성 검사 방법으로이를 수행 할 수 있습니다. 추정 모델 목록에있는 모델 중 실제로 데이터를 생성하는 모델을 알고 싶은 경우 두 번째 방법 (모델의 사후 확률 평가)이 원하는 것입니다.

2. 그것들은 동등합니까? 아마 아닙니다. 특정 가정이나 실제 상황에서 동일한 최적의 모델을 제공합니까?

아니요, 일반적으로 동일하지 않습니다. 예를 들어 AIC (Akaike의 Information Criterion)를 사용하여 '최상의'모델을 선택하면 대략 교차 검증에 해당합니다. 의 사용 BIC (베이지안 정보 기준) 다시 약, 사후 확률을 사용하여 해당합니다. 이것들은 동일한 기준이 아니므로 일반적으로 다른 선택으로 이어질 것으로 기대해야합니다. 그들은 최선의 예측 모델이 진실이 될 때마다 같은 대답을 줄 수 있지만, 많은 상황에서 가장 잘 맞는 모델은 실제로 과적 합하는 모델이므로 접근 방식 사이에 불일치가 발생합니다.

그들은 실제로 동의합니까? 그것은 당신의 '연습'과 관련된 것에 달려 있습니다. 두 가지 방법으로 시도하고 찾으십시오.

3. 베이지안 모델 등에서 사전 지식을 지정하는 일반적인 철학적 차이 외에, 각 접근법의 장단점은 무엇입니까? 어느 것을 선택 하시겠습니까?

• 일반적으로 사후 확률을 계산하는 것보다 교차 검증에 대한 계산을 수행하는 것이 훨씬 쉽습니다.
• '진정한'모델이 선택한 목록 중 하나라는 설득력있는 사례를 만드는 것은 종종 어려운 일입니다. 이는 사후 확률 사용에 대한 문제이지만 교차 검증은 아닙니다.
• 두 방법 모두 상당히 임의의 상수를 사용하는 경향이 있습니다. 변수의 수 측면에서 여분의 예측 단위는 얼마입니까? 얼마나 우리는 각 모델은 믿는다 선험적 ?
  • 아마도 교차 검증을 선택했을 것입니다. 그러나 커밋하기 전에이 모델 선택이 수행 된 이유, 즉 선택한 모델이 무엇을 사용 해야하는지에 대해 많이 알고 싶습니다. 예를 들어 인과 추론이 필요한 경우 모델 선택 형식이 적절하지 않을 수 있습니다.

최적화는 통계에서 모든 악의 근원입니다! ;영형)

유한 한 데이터 샘플에서 평가되는 기준을 기반으로 모델을 선택하려고하면 모델 선택 기준을 과도하게 맞추고 처음 시작할 때보 다 더 나쁜 모델이 될 위험이 있습니다. 교차 검증 및 한계 우도는 합리적인 모델 선택 기준이지만 둘 다 유한 한 데이터 샘플에 의존합니다 (AIC 및 BIC와 마찬가지로 복잡성 패널티는 도움이 될 수 있지만이 문제는 해결되지 않습니다). 나는 이것이 기계 학습에서 중요한 문제라는 것을 알았습니다.

GC Cawley 및 NLC Talbot, 성능 평가에서 모델 선택 및 후속 선택 바이어스에 과적 합, Journal of Machine Learning Research, 2010. Research, vol. 11, pp. 2079-2107, 2010 년 7 월. ( www )

베이지안 관점에서 모든 모델 선택과 매개 변수를 통합하는 것이 좋습니다. 최적화하거나 선택하지 않으면 과도하게 맞추기가 더 어려워집니다. 단점은 MCMC로 해결해야하는 어려운 적분으로 끝납니다. 최상의 예측 성능을 원한다면 완전히 베이지안 방식을 제안합니다. 데이터를 이해하려면 최상의 모델을 선택하는 것이 종종 도움이됩니다. 그러나 데이터를 다시 샘플링하여 매번 다른 모델로 끝내면 피팅 절차가 불안정하고 데이터를 이해하기에 신뢰할 수있는 모델이 없다는 것을 의미합니다.

교차 검증과 증거의 중요한 차이점 중 하나는 한계 우도의 값이 모델이 잘못 지정되지 않았으며 (실제로 모델의 기본 형식이 적절 함) 가정하는 경우 잘못된 결과를 제공 할 수 있다는 것입니다. 교차 유효성 검사는 그러한 가정을하지 않으므로 조금 더 강력해질 수 있습니다.