하이퍼 파라미터 추정을위한 교차 검증 대 경험적 베이

계층 적 모델 주어지면 모델 에 맞는 2 단계 프로세스가 필요합니다. 먼저 소수의 하이퍼 파라미터 수정 한 다음 나머지 매개 변수 에 대한 베이지안 추론을 수행하십시오 . 하이퍼 파라미터를 고정시키기 위해 두 가지 옵션을 고려하고 있습니다.θ $p(x|\phi,\theta)$$\theta$$\phi$

1. 경험적 베이 (EB)를 사용 하고 한계 가능성 최대화합니다 (고차원 매개 변수를 포함하는 나머지 모델을 통합).$p(\mbox{all data}|\theta)$
2. 폴드 교차 검증 과 같은 교차 검증 (CV) 기술을 사용 하여 가능성 를 최대화하는 를 선택하십시오 .θ p ( 시험 데이터 | 훈련 데이터 , θ $k$$\theta$$p(\mbox{test data}|\mbox{training data}, \theta)$

EB의 장점은 모든 데이터를 한 번에 사용할 수 있고 CV의 경우 모델 가능성을 여러 번 계산하고 검색해야한다는 것 입니다. EB와 CV의 성능은 많은 경우 (*)와 비슷하며 종종 EB가 추정 속도가 더 빠릅니다.$\theta$

질문 : 두 가지를 연결하는 이론적 기초가 있습니까 (즉, EB와 CV는 큰 데이터의 한계에서 동일합니다)? 또는 EB를 경험적 위험과 같은 일부 일반화 기준에 연결합니까? 누군가 좋은 참고 자료를 가리킬 수 있습니까?

(*) 예시로서, 여기 머피의 머신 러닝 ( Murphy 's Machine Learning ) 섹션 7.6.4 의 그림이 있는데, 여기에서 능선 회귀에 대해 두 절차 모두 매우 유사한 결과를 산출한다고 말합니다.

머피는 또한 CV에 비해 경험적 베이의 실질적인 이점 ( "증거 절차"라고 함)은 가 많은 하이퍼 파라미터 (예 : 자동 관련성 결정 또는 ARD에서와 같이 각 기능에 대해 별도의 페널티)로 구성되는 경우라고 말합니다 . CV를 전혀 사용할 수 없습니다.$\theta$

나는 증거가 모형의 가정이 주어 졌을 때 데이터의 확률을 알려주기 때문에 CV와 증거 최대화가 점진적으로 동등하다는 이론적 링크가 있을지 의심 스럽다 . 따라서 모형을 잘못 지정하면 증거를 신뢰할 수 없습니다. 반면에 교차 검증은 모델링 가정이 올바른지 여부에 관계없이 데이터의 확률을 추정합니다. 이는 적은 데이터를 사용하여 모델링 가정이 정확할 경우 증거가 더 나은 가이드가 될 수 있지만 교차 검증은 모델의 잘못된 스펙에 대해 강력하다는 것을 의미합니다. CV는 어설프게 편견이 없지만 모델 가정이 정확히 맞지 않으면 증거가 아니라고 가정합니다.

이것은 본질적으로 나의 직관 / 경험입니다. 또한 이것에 대한 연구에 관심이 있습니다.

릿지 회귀, 가우시안 프로세스, 커널 릿지 회귀 / LS-SVM 등 많은 모델의 경우, 증거를 추정하는 것만 큼 효율적으로 일대일 교차 검증을 수행 할 수 있으므로 계산이 반드시 필요한 것은 아닙니다. 거기에 이점.

부록 : 한계 우도 및 교차 검증 성능 추정치는 유한 한 데이터 샘플에 대해 평가되므로, 어느 기준을 최적화하여 모델을 조정하면 항상 과적 합 가능성이 있습니다. 작은 표본의 경우 두 기준의 분산 차이에 따라 가장 적합한 것이 결정될 수 있습니다. 내 논문을 참조하십시오

Gavin C. Cawley, Nicola LC Talbot, "성능 평가에서 모델 선택 및 후속 선택 바이어스에 과적 합", 기계 학습 연구 저널, 11 (Jul) : 2079-2107, 2010. ( pdf )

다른 매개 변수 가없는 경우 EB는 검색 할 필요가 없다는 점을 제외하고 CV와 동일합니다. CV와 EB에서 를 통합한다고 말합니다 . 이 경우에는 동일합니다.$k$$k$