선형 회귀 분석에서 정규화가 매개 변수 값에도 페널티를주는 이유는 무엇입니까?

현재 능선 회귀를 배우고 더 복잡한 모델의 처벌 (또는 더 복잡한 모델의 정의)에 대해 약간 혼란 스러웠습니다.

내가 이해 한 바에 따르면, 모델의 복잡성이 다항식과 반드시 ​​관련이있는 것은 아닙니다. 따라서 는 보다 더 복잡한 모델입니다.

$$2 + 3+ 4x^2 + 5x^3 + 6x^4$$ $$5x^5$$

그리고 정규화의 포인트는 모델 복잡성을 낮게 유지하는 것이므로 예를 들어 5 차 다항식

$$f(x; w) = w_0 + w_1x + w_2x^2 + w_3x^3 + w_4x^4 + w_5x^5$$

매개 변수가 0 일수록 더 좋습니다.

그러나 내가 이해하지 못하는 것은 같은 순서 다항식이라면 왜 더 낮은 매개 변수 값이 덜 페널티를 받습니까? 왜 :

$$2 + 5x + x^3$$ 은보다 복잡한 모델이 아닙니다.

$$433+ 342x + 323x^3$$ 둘 다 동일한 다항식 순서이며 매개 변수 값은 단순히 데이터에 따라 다릅니다.

감사합니다!

단순히 데이터에 의존하는 매개 변수 값

이것이 귀하의 질문의 핵심 부분입니다. 이것은 당신이 혼란스러워하는 곳입니다.

예, 매개 변수 값은 데이터에 따라 다릅니다. 그러나 모델에 적합 하면 데이터가 고정 됩니다. 다시 말해, 우리 는 관측치에 조건부 로 모델을 맞 춥니 다 . 다른 데이터 세트에 맞는 다른 모델의 복잡성을 비교하는 것은 이치에 맞지 않습니다 .

고정 데이터 셋의 맥락에서 모델

$$2 + 5x + x^3$$

실제로 가장 단순한 모델, 즉 평평한 제로 모델에 더 가깝습니다.

$$433+ 342x + 323x^3,$$

이것은 관측 규모에 관계없이 유지됩니다.

또한 인터셉트 ( 예 : 및 )는 예를 들어 대부분의 올가미 공식에서 종종 불이익을받지 않습니다. 일반적으로 관측의 전체 평균을 자유롭게 포착 할 수 있도록하는 것이 좋기 때문입니다. 다시 말해, 우리는 모델을 완전한 0 모델이 아닌 관측치의 평균으로 축소합니다 (0은 종종 임의적 임). 이런 의미에서 평평한 와 평평한 모델은 똑같이 복잡한 것으로 간주됩니다.$2$$433$$2$$433$