R- 제곱 값이 모형을 비교하는 데 적합합니까?

자동차 분류 광고 사이트에서 제공되는 가격과 기능을 사용하여 자동차 가격을 예측하기위한 최상의 모델을 식별하려고합니다.

이를 위해 scikit-learn 라이브러리의 몇 가지 모델과 pybrain 및 neurolab의 신경망 모델을 사용했습니다. 지금까지 사용한 접근법은 일부 모델 (기계 학습 알고리즘)을 통해 고정 된 양의 데이터를 실행 하고 scikit-learn 메트릭 모듈로 계산 된 $R^2$ 값을 비교하는 것 입니다.

가 $R^2$ 서로 다른 모델의 성능을 비교하는 좋은 방법은?
I는 탄성 네트 랜덤 포리스트 같은 모델 아주 허용 가능한 결과를 얻었다 비록 매우 나쁨있어 $R^2$ 그렇다, 신경망 모델 값 $R^2$ 신경망 (또는 비선형 방법)을 평가하기위한 적절한 방법?

— 마니 크
소스

짧은 대답은 ' 아니요' 입니다. 여기에서 내 대답을 읽는 데 도움이 될 수 있습니다 . 귀하의 질문과 매우 밀접한 관련이 있는 최상의 모델을 선택하기위한 모델 평가 및 비교 . 후보 솔루션이 여기 에 설명되어 있습니다 . 보다 일반적인 이해를 위해 모델 선택 태그 아래에 분류 된 사이트의 일부 스레드를 읽으십시오 .

— gung-Monica Monica 복원

@gung Thank you! 신경망을 사용하여 회귀에 적합한 적절한 측정 방법이 무엇인지 물어볼 수 있습니까?

— Manik

귀하의 질문에 대답 할 때 고려해야 할 중요한 부분은

자동차 가격을 예측하기위한 최고의 모델을 찾고 있습니다

이 문장 은 모델을 사용하려는 이유 에 대해 설명 하기 때문 입니다. 모델 선택 및 평가는 적합치로 달성하려는 목표를 기반으로해야합니다.

첫째, 요점을 되풀이 할 수 있습니다 무엇 않습니다 $R^2$ 내가 당신이 이미 알고있는 나는 차 손실 함수를 기반으로 확장 측정, 계산 :. 이것을보기 위해 잔류 정의 하여 i 번째 관측 및 대응하는 피팅 값 . 편리한 표기법 사용 , $e_i = y_i - \hat{y}_i$ $y_i$ $\hat{y}_i$ $SSR := \sum_{i=1}^Ne_i^2$ ,는 간단히로 정의됩니다. $SST:=\sum_{i=1}^N(y_i - \bar{y})^2$ $R^2$ $R^2 = 1 - SSR/SST$

둘째, 모델 선택 / 평가에 를 사용하는 것이 무엇을 의미 하는지 $R^2$ 봅시다 . 모델 사용하여 생성 된 예측 중에서 선택한다고 가정합니다 여기서 은 고려중인 모델의 모음입니다 (예 :이 모음에는 신경망, 임의 포리스트, 탄력적 그물, ...). 는 모든 모델에서 일정하게 유지 되므로 를 최소화하면 을 최소화하는 모델을 정확하게 선택하게됩니다 . 다시 말해, 당신은 선택합니다 $\bar{Y}_M$ $M:M \in \mathcal{M}$ $\mathcal{M}$ $SST$ $R^2$ $SSR$ 최소 제곱 오차 손실을 생성하는 ! $M \in \mathcal{M}$

셋째, 왜 $R^2$ 또는 이 모델 선택에 흥미로울 수 있는지를 생각해 보자 . 전통적으로, 제곱 손실 ( 규범)은 다음 세 가지 이유로 사용됩니다. (1) 계산에 절대 값이 표시되지 않기 때문에 최소 절대 편차 (LAD, 규범) 보다 계산이 더 쉽습니다 . (2) 적합 LAD보다 훨씬 큰 실제 값 (절대적인 의미가 아닌 제곱으로 표시)에서 멀리 떨어져있는 값을 사용하여 극단 값을 줄입니다. (3) 대칭 : 자동차 가격을 과대 또는 과소 평가하는 것은 똑같이 나쁜 것으로 간주됩니다. $SSR$ $L^2$ $L^1$

넷째 (마지막), 이것이 여러분의 예측에 필요한 것인지 살펴 보겠습니다 . 여기서 가장 흥미로운 점은 마지막 단락에서 (3)입니다. 중립적 인 입장을 취하고 자동차 구매자 나 판매자가 아니라고 가정 해 봅시다. 그러면 는 의미가 있습니다. 당신은 공평하며, 동일하게 초과 또는 미달하는 편차를 처벌하고자합니다. 관찰되지 않은 값을 예측하지 않고 수량 간의 관계를 모델링하려는 경우에도 마찬가지입니다. 이제 예산이 부족한 소비자 / 구매자를 위해 일한다고 가정 해 봅시다.이 상황에서는 가격의 과대 평가를 2 차적 의미로, 과소 평가는 의미에서 $R^2$ $L^p$ . 를 들어 , 당신은 절대 편차 의미에서 처벌 것이다. 이는 구매자의 목표와 의도를 반영하는 것으로 볼 수 있으며, 추정치를 하향 편향시키는 것이 관심을 가질 수 있습니다. 반대로 판매자의 가격 예측을 모델링하는 경우 생각을 뒤집을 수 있습니다. 말할 필요도없이, 어떤 규범 위한 / 에이전트에게 모델을 모델러의 기본 설정을 반영하기 위해 선택 될 수있다. 또한 규범밖에서완전히처벌 할 수 있으며한쪽에서는 일정, 지수 또는 로그 손실을 사용하고 다른 쪽에서는 다른 손실을 사용할 수 있습니다. $1 \leqslant p <2$ $p=1$ $L^p$ $L^p$

요약하면, 모델 선택 / 평가는 모델의 목표와 독립적으로 고려 될 수 없습니다.

— 예레미아 K
소스