선형 SVM 분류에 스케일링이 중요한 이유는 무엇입니까?

선형 SVM 분류를 수행 할 때, 예를 들어 평균을 빼고 표준 편차로 나눈 후 훈련 데이터를 정규화하고 나중에 시험 데이터를 훈련 데이터의 평균 및 표준 편차로 스케일링하는 것이 도움이됩니다. 이 프로세스가 분류 성능을 크게 변경하는 이유는 무엇입니까?

machine-learning svm standardization

— 청화
소스

이 질문은 이미 답변되었습니다. stackoverflow.com/questions/15436367/svm-scaling-input-values

— jpmuc

감사합니다. 그러나 왜 테스트 세트를 자체 훈련 세트의 평균과 표준으로 스케일링해야하는지 여전히 확실하지 않습니까? 경우에 따라 두 세트의 샘플이 테스트 세트에서 균형이 잘 잡힌 경우 후자가 성능이 좋거나 더 나은 것처럼 보입니다.

— Qinghua

왜냐하면 당신은 일관성이 없기 때문입니다. 다른 데이터를 테스트하고 있습니다. 가우스 N (mu, sigma)에서 표본을 추출한다고 가정합니다. 당신은 (중심과 스케일링 후) N (0,1)으로 훈련했지만 N (mu, sigma)로 테스트되었습니다

— jpmuc

관련 : stats.stackexchange.com/questions/77876/…

— Marc Claesen

답변:

예를 통해 더 명확하게 할 수 있다고 생각합니다. X1과 X2의 두 입력 벡터가 있다고 가정 해 봅시다. X1의 범위는 (0.1 ~ 0.8)이고 X2의 범위는 (3000 ~ 50000)입니다. 이제 SVM 분류기는 X1-X2 평면에있는 선형 경계가됩니다. 내 주장은 선형 결정 경계의 기울기는 X1과 X2의 범위에 의존하지 말고 대신 점의 분포에 의존해야한다는 것입니다.

이제 (0.1, 4000)과 (0.8, 4000)을 예측해 보자. 함수 값의 차이는 거의 없으므로 SVM은 X1 방향의 점에 대한 민감도가 낮기 때문에 정확도가 떨어집니다.

— 바인
소스

SVM은 분리 평면과지지 벡터 사이의 거리를 최대화하려고합니다. 한 피쳐 (즉,이 공간의 한 치수)에 매우 큰 값이 있으면 거리를 계산할 때 다른 피쳐가 지배적입니다. 모든 피처의 크기를 조정하면 (예 : [0, 1]) 거리 메트릭에 동일한 영향을 미칩니다.

— 즈 리케
소스