혼동 행렬은 K- 폴드 교차 검증에서 어떻게보고됩니까?


18

K = 10 배로 K 배 교차 검증을 수행한다고 가정합니다. 각 접기마다 하나의 혼동 행렬이 있습니다. 결과를보고 할 때 평균 혼동 행렬이 무엇인지 계산하거나 혼동 행렬을 합산해야합니까?

답변:


11

모델의 성능을 테스트하는 경우 (즉, 매개 변수를 최적화하지 않는 경우) 일반적으로 혼동 행렬을 합산합니다. 이렇게 생각하면 데이터를 10 가지 다른 폴드 또는 '테스트'세트로 분할 한 것입니다. 9/10 접기에서 모델을 훈련시키고 첫 번째 접기를 테스트하고 혼동 행렬을 얻습니다. 이 혼동 행렬은 데이터의 1/10 분류를 나타냅니다. 다음 '테스트'세트로 분석을 다시 반복하고 데이터의 1/10을 나타내는 다른 혼동 행렬을 얻습니다. 이 새로운 혼동 행렬을 첫 번째에 추가하면 이제 데이터의 20 %를 나타냅니다. 모든 접기를 실행할 때까지 계속하고 모든 혼란 매트릭스를 합산하고 최종 혼란 매트릭스는 모든 데이터에 대한 해당 모델의 성능 나타냅니다. 혼동 행렬의 평균을 구할 수는 있지만 실제로 누적 행렬의 추가 정보를 제공하지는 않으며 접기가 모두 같은 크기가 아닌 경우 편향 될 수 있습니다.

참고 -이것은 반복되지 않은 데이터 샘플링을 가정합니다. 이것이 반복 샘플링에서 다른지 확실하지 않습니다. 내가 무언가를 배우거나 누군가가 방법을 권장하면 업데이트됩니다.


감사합니다, cdeterman 모델 선택 (예 : 튜닝 파라미터 최적화)은 어떻습니까?
John M

@JohnM은 전체 모델에 가장 적합한 매개 변수가 무엇인지 표시하기 위해 각 폴드를 독립적으로보고 있습니다. 둘 다 결합 하려면 중첩 된 cv 를 살펴볼 수 있습니다 .
cdeterman
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.