회귀 분석을위한 스케일링 기능 외에도 목표 값을 스케일링해야합니까?

회귀 모델을 작성 중입니다. 전처리 단계로서 기능 값을 평균 0과 표준 편차 1로 조정합니다. 목표 값도 정규화해야합니까?

기능 스케일링이 수행되는 이유를 먼저 분석해 봅시다. 피처 스케일링은 스케일 불변의 속성을 갖지 않는 가장 가파른 하강 알고리즘의 수렴을 향상시킵니다.

스토캐스틱 구배 하강 훈련 예는 중량과 같이 반복적으로 갱신 알리

여기서 가중치이고, γ는 하는 스텝 사이즈이다 ∇ 승 그라데이션 WRT 가중치이며 ℓ은 , 손실 함수 f를 승 의해 파라미터 함수 인 w는 , X는 트레이닝 일례이며, Y는 응답 / 라벨이다.$w$$\gamma$$\nabla_w$$\ell$$f_w$$w$$x$$y$

적절한 스케일링과 부적절한 스케일링을 나타내는 다음 볼록 함수를 비교하십시오.

$\gamma$$\nabla_w \ell(f_w(x),y)$$\gamma$

$f$

출력 스케일링에 영향을 미치는 유일한 상황은 응답 변수가 매우 크거나 f32 변수 (GPU 선형 대수와 공통)를 사용하는 경우입니다. 이 경우 가중치 요소의 부동 소수점 오버 플로우를 얻을 수 있습니다. 증상은 Inf 값이거나 다른 극단적 인 표현으로 줄어 듭니다.

일반적으로 필요하지 않습니다. 입력 스케일링은 하나 또는 여러 피처가 다른 피처를 지배 할 때 상황을 피하는 데 도움이되므로 결과적으로 모델은 더 작은 스케일 변수가 강력하더라도 더 작은 스케일 변수의 기여를 선택하지 않습니다. 그러나 목표를 조정하면 평균 제곱 오류가 자동으로 조정됩니다. MSE> 1은 자동으로 일정 (순진한) 예측보다 더 나쁜 일을하고 있음을 의미합니다.

아니요, 반응의 선형 변환은 필요하지 않습니다. 그러나 모델 해석에 도움이 될 수 있습니다. 예를 들어, 응답이 미터 단위로 제공되지만 일반적으로 매우 작은 경우, 즉 밀리미터로 조정하는 것이 도움이 될 수 있습니다. 입력의 센터링 및 / 또는 스케일링도 같은 이유로 유용 할 수 있습니다. 예를 들어, 다른 모든 예측 변수가 0으로 설정된 경우 예측 변수의 단위 변화 당 응답에 대한 영향으로 계수를 대략적으로 해석 할 수 있습니다 . 그러나 0은 종종 이러한 변수에 유효하거나 흥미로운 값이 아닙니다. 입력을 중앙에 배치하면 다른 예측 변수가 평균값을 가정 할 때 계수가 단위 변화 당 효과로 해석됩니다.

반응이 원래 척도에서 선형이 아닌 경우 다른 변환 (즉, 로그 또는 제곱근)이 도움이 될 수 있습니다. 이 경우 일반화 된 선형 모델에 대해 읽고 자신에게 적합한 지 확인할 수 있습니다.

그것은 않는 A의 기울기 하강에 영향을 미치는 나쁜 방법입니다. 경사 하강 공식을 확인하십시오.

$x_2$$x_1$

$F(\vec{x})=\vec{x}^2$$\Delta F(\vec{x})=2*\vec{x}$

$\vec{z}= (x_1,1000*x_1)$$\gamma$

결과적으로 델타는 그 방향을 향하도록 델타를 편향시키고 수렴을 느리게 만듭니다.

예 , 대상 변수를 스케일링해야합니다. 나는 이 참조 를 인용 할 것이다 :

값이 크게 분포 된 목표 변수는 큰 오차 값으로 인해 가중치 값이 급격히 변하여 학습 과정이 불안정해질 수 있습니다.

참고로 매우 큰 오류가 주어지면 훈련 중에 모델 가중치가 폭발하고 가중치 업데이트에 대해 계산 된 오류 기울기가 폭발하는 코드에 대한 데모 도 있습니다. 즉, 데이터를 확장하지 않고 값이 매우 큰 경우 학습 속도 값이 매우 작은 지 확인하십시오. 이것은 @drSpacy에서도 언급되었습니다.