교육 및 테스트 세트를 사용하여 회귀 모델의 성능을 평가하십니까?


10

테스트 세트를 보유하고 트레이닝 세트에서 모델을 훈련하여 분류 모델의 성능을 평가하는 것에 대해 종종 듣습니다. 그런 다음 예측 된 값과 실제 값을위한 2 개의 벡터를 만듭니다. 분명히 비교를 수행하면 F-Score, Kappa Statistic, Precision & Recall, ROC 곡선 등을 사용하여 예측력으로 모델의 성능을 판단 할 수 있습니다.

이것은 회귀와 같은 수치 예측을 평가하는 것과 어떻게 비교됩니까? 훈련 세트에서 회귀 모델을 학습하고 값을 예측 한 다음이 예측 된 값을 테스트 세트에있는 실제 값과 비교할 수 있다고 가정합니다. 분명히 분류 작업이 아니기 때문에 성능 측정 값이 달라야합니다. 일반적인 잔차와 통계는 명백한 척도이지만 회귀 모형의 성능을 평가하는 더 좋은 방법이 있습니까? 분류에는 많은 옵션이있는 것처럼 보이지만 회귀는 R ^ 2 와 잔차로 남습니다 .R2R2


1
정확히 어떤 질문을하는지 잘 모르겠지만 연속 출력이있는 회귀 모델의 명백한 오류 메트릭은 모델 출력과 결과 변수 사이의 평균 제곱 오류 (MSE)입니다.
BGreene

따라서 실제와 예측 사이의 오류 측정.
StatTime

예, 교육 세트에 최적화되고 테스트 세트를 사용하여 검증되었습니다.
BGreene

답변:


2

앞서 언급했듯이 일반적으로 평균 제곱 오류가 사용됩니다. 훈련 세트를 기반으로 회귀 모델을 계산하고, 테스트 세트의 출력 (y)과 주어진 출력 사이의 MSE를 계산하여 별도의 테스트 세트 (입력 x 및 알려진 예측 출력 y에 대한 세트)를 사용하여 성능을 평가합니다. 주어진 주어진 입력 (x)에 대한 모델 (f (x))에 의해.

또는 루트 평균 제곱 오류, 상대 제곱 오류, 평균 절대 오류, 상대 절대 오류 ... (정의를 위해 Google에 문의)와 같은 메트릭을 사용할 수 있습니다.


좋은 대답입니다. 이것들은 모두 분배의 두 번째 순간과 관련이 있습니다. 편견을 없애거나 원하는 조합을 사용하려는 경우 차이의 합계를 볼 수도 있습니다. 예를 들어, 여기서 A와 B는 각 점수 매기기 방법에 대한 가중치입니다. 실제로는 특정 문제에 어떤 요소가 중요한지에 달려 있습니다. err=A(xxi)+B(xxi)2
Greg Petersen
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.