교차 유효성 검사 대신 데이터의 한계 한계를 최대화하여 많은 매개 변수가있는 ARD 커널로 가우시안 프로세스를 훈련하고 있습니다.
나는 그것이 너무 적합하다고 생각합니다. 베이지안 상황에서이 의심을 어떻게 테스트 할 수 있습니까?
교차 유효성 검사 대신 데이터의 한계 한계를 최대화하여 많은 매개 변수가있는 ARD 커널로 가우시안 프로세스를 훈련하고 있습니다.
나는 그것이 너무 적합하다고 생각합니다. 베이지안 상황에서이 의심을 어떻게 테스트 할 수 있습니까?
답변:
가장 간단한 방법은 비 ARD 등가 공분산 함수 (보통 RBF)로 가우스 프로세스를 맞추고 테스트 오류율을 비교하는 것입니다. 많은 문제에서 ARD 공분산 함수 는 하이퍼-파라미터를 튜닝 할 때 과적 합으로 인해 비 ARD 공분산 함수보다 성능이 떨어 집니다. RBF 공분산은 ARD 공분산의 특별한 경우이므로 RBF가 더 잘 수행되면 ARD 커널이 과적 합하다는 것을 나타내는 강력한 표시입니다 (해당 RBF 공분산에 대한 최적의 값에서 ARD 계수 최적화 시작). ARD 공분산의 문제가 한계 우도의 국소 최소값 때문이 아니라는 것을 확인하는 데 도움이됩니다. 이것은 일반적으로 인식되는 것보다 훨씬 큰 문제입니다.
나는 이것에 관한 몇 가지 논문을 썼다.
GC Cawley 및 NLC Talbot, 하이퍼 파라미터의 베이지안 정규화를 통한 모델 선택 중 과적 합 방지, Journal of Machine Learning Research, 8 권, 841-861 페이지, 2007 년 4 월 ( pdf )
과
GC Cawley 및 NLC Talbot, 성능 평가에서 모델 선택 및 후속 선택 바이어스에 과적 합, Journal of Machine Learning Research, 2010. Research, vol. 11, pp. 2079-2107, 2010 년 7 월 ( pdf )
첫 번째는 GP에 대한 실험을 포함하는데, 이는 모델 선택에서의 과적 합이 한계 우도 최대화 기반 모델 선택을 가진 GP에게도 문제가됨을 보여줍니다.
보다 철저한 분석은 한계 우도를 최적화하는 과정에서 각 단계에서 GP의 테스트 오류를 평가하는 것입니다. 모델 선택 기준이 단조 감소하지만 테스트 오류가 처음에는 감소하지만 모델 선택 기준이 과도하게 최적화됨에 따라 다시 상승하기 시작하는 과적 합의 고전적인 특징을 얻게 될 가능성이 높습니다. 2010 JMLR 논문의 그림 2a).