데이터 세트 크기에 따른 과적 합 / 비 적합

아래 그래프에서

• x 축 => 데이터 세트 크기
• y 축 => 교차 검증 점수

• 빨간 선 은 훈련 데이터입니다

• 녹색 선 은 데이터 테스트 용입니다.

내가 말하는 겁니다하는 튜토리얼에서는, 저자는 그 점을 말한다 곳 레드 라인 과 그린 라인 수단 중복,

더 많은 데이터를 수집해도 일반화 성능이 향상되지는 않으며 데이터가 적합하지 않은 지역에 있습니다. 따라서 더 많은 용량의 모델로 시험해 보는 것이 합리적입니다.

나는 대담한 문구의 의미 와 그것이 어떻게 발생하는지 이해할 수 없습니다 .

도움을 주셔서 감사합니다.

따라서 언더 피팅이란 여전히 학습 능력을 향상시킬 수있는 반면, 오버 피팅은 학습에 필요한 것보다 많은 용량을 사용했음을 의미합니다.

녹색 영역은 테스트 오류가 증가하는 곳입니다. 즉, 더 나은 결과를 얻으려면 용량 (데이터 포인트 또는 모델 복잡성)을 계속 제공해야합니다. 녹색 선이 많을수록 더 평평 해집니다. 즉, 제공된 용량 (데이터)이 충분하고 모델 복잡성 인 다른 유형의 용량을 제공하기에 더 나은 지점에 도달하고 있습니다.

테스트 점수가 향상되지 않거나 심지어 줄어든 경우 데이터 복잡성의 조합이 최적의 상태였으며 교육을 중단 할 수 있습니다.

Kasra Manshaei가 일반적인 대답 (+1)을 제공하지만 이해하기 쉬운 예를 드리고 싶습니다.

매우 간단한 문제를 생각해보십시오. 함수 맞추기 $f:[0, 1] \rightarrow \mathbb{R}$. 그렇게하려면 다항식 클래스에서 모형을 가져옵니다. 논증을 위해 0 도의 다항식을 취한다고 가정 해 봅시다.이 모형의 용량 은 상수에만 적합하기 때문에 매우 제한적입니다. 기본적으로 평균 값을 추측합니다 (물론 오류 기능에 따라 다르지만 단순하게 유지하십시오). 따라서 비교적 빠른 속도로 이러한 종류의 모델에 가장 적합한 매개 변수가 무엇인지 추정 할 수 있습니다. 몇 개의 예제를 추가하든 테스트 및 교육 오류는 거의 동일합니다. 문제는 데이터가 충분하지 않다는 것이 아니라 모델이 충분히 강력하지 않다는 것 입니다.

다른 방향으로가 봅시다 : 1000 개의 데이터 포인트가 있다고 가정 해 봅시다. 약간의 수학을 알고 있으면 999 도의 다항식을 선택할 수 있습니다. 이제 훈련 데이터를 완벽하게 맞출 수 있습니다. 그러나 데이터가 너무 완벽하게 맞을 수 있습니다. 예를 들어 ( 내 블로그에서 )를 참조하십시오.

이 경우 데이터에 완벽하게 맞는 다른 모델이 있습니다. 분명히, 파란색 모델은 데이터 포인트간에 부자연 스럽습니다. 모델 자체는 분포의 종류를 잘 포착하지 못할 수 있으므로 모델을 더 간단한 것으로 제한하면 실제로 도움이 될 수 있습니다. 이것은 과적 합의 예일 수 있습니다 .

귀하의 경우-모델이 높은 편향 / 부적합 솔루션임을 나타내는 기차와 테스트 곡선 사이의 간격이 매우 작거나 아예 없습니다. 더 복잡한 모델을 선택해야합니다. -완료를 위해, 기차와 테스트 곡선 사이의 간격이 매우 커서 편차 / 과적 합이 높음을 나타내는 반대의 경우를 추가해야합니다. b) 덜 복잡한 모델 선택, c) 정규화 수행

다음 중 일부 또는 전부를 수행 할 수 있습니다.

1) 모델에 공급하는 기능을 변경하십시오.

2) 사용할 다른 모델을 선택하십시오

3) 모델에 더 많은 데이터를로드합니다 (옵션은 제공되지 않지만 일반적으로 옵션 임)