답변:
특정 모델의 경우 데이터를 공급하고 기능을 선택하고 하이퍼 파라미터 등을 선택하십시오. 현실과 비교하면 세 가지 유형의 실수가 있습니다.
앙상블은 이러한 여러 모델의 평균을냅니다. 샘플링 바이어스로 인한 바이어스는 명백한 이유로 고정되지 않으며 일부 모델 복잡성 바이어스를 수정할 수 있지만 변경 오차는 모델마다 크게 다릅니다. 특히 상관 관계가 낮은 모델은이 영역에서 매우 다른 실수를합니다. 특정 모델은 형상 공간의 특정 부분에서 잘 작동합니다. 이러한 모델의 평균을 계산하면이 편차가 상당히 줄어 듭니다. 이것이 앙상블이 빛나는 이유입니다.
선택한 답변은 환상적이지만 두 가지를 추가하고 싶습니다.
이전 사건에 대한 지식을 바탕으로 다음 사건을 순서대로 예측하는 경우 최적 예측에 대한 기본 이론이 있습니다. 솔로 모노 프 예측 (Solomonoff 1964)은 "최소한의 최소 데이터 량만으로 계산 가능한 시퀀스를 정확하게 예측하는 법을 배우게 될 것"을 포함하여 여러 의미에서 최적 일 것입니다. (Hutter, Legg & Vitanyi 2007) Solomonoff 예측 변수는 Kolmogorov 프로그램의 복잡성과 Epicurean ( "모든 이론 유지")을 결합하여 프로그램이 지금까지 데이터에 할당 할 확률에 따라 기존 데이터와 호환되는 모든 프로그램에 가중치를 부여합니다. 베이지안 틀에서 Ockham ( "단순 이론 선호") 철학.
Solomonoff 예측의 최적 성 속성은 모델, 소스 또는 전문가에 대한 평균화가 예측을 개선하고 평균 예측이 최고의 단일 예측 변수보다 성능이 뛰어나다는 강력한 결과를 설명합니다. 실제로 보여지는 다양한 앙상블 방법은 솔로몬 오프 예측에 대한 계산 가능한 근사치로 볼 수 있으며 MML (Wallace 2005)과 같은 일부는 명시 적으로 관계를 탐색합니다.
Wallace (2005)는 Solomonoff 예측 변수가 모호한 것이 아니라 무한한 모델 풀을 유지하지만 필연적으로 대부분의 예측 능력은 상대적으로 작은 모델 세트에 속한다고 말합니다. 일부 영역에서는 단일 최고 모형 (또는 거의 구별 할 수없는 모형의 제품군)이 예측력의 대부분을 차지하고 일반 앙상블을 능가 할 수 있지만 이론이 거의없는 복잡한 영역에서는 단일 군이 후부 확률의 대부분을 포착하지 못할 가능성이 높습니다. 따라서 그럴듯한 후보를 평균화하면 예측이 향상되어야합니다. Netflix 상을 수상하기 위해 Bellkor 팀은 450 개 이상의 모델을 혼합했습니다 (Koren 2009).
인간은 일반적으로 하나의 좋은 설명을 추구합니다. 물리학과 같은 "고 이론적"영역에서는 이러한 것이 잘 작동합니다. 실제로 그들이 근본적인 인과 관계를 포착한다면 거의 무적이어야합니다. 그러나 이용 가능한 이론이 현상 (예 : 영화 추천 또는 지정학)과 밀접하게 일치하지 않는 경우 단일 모델의 성능이 저하됩니다. 따라서 최근 앙상블 (머신 러닝)과 크라우드의 지혜 (전문가)와 IARPA ACE와 같은 프로그램의 성공, 특히 Good Judgment Project (Tetlock & Gardiner 2015)에 중점을 둡니다.