올가미 / 리지 회귀 분석에 대한 표준화 대 표준화

능선 및 올가미 회귀에 대한 기능을 표준화하는 것이 일반적인 관행임을 알고 있지만 이러한 회귀 분석법에 대한 z- 점수 표준화의 대안으로 (0,1) 척도에서 피쳐를 정규화하는 것이 더 실용적입니까?

— 스티브
소스

답변:

정규화를 적용하면 ([0,1]의 스퀴즈) 상대 변수 중요도를 측정 할 수 있지만 변수의 스케일이 변경되고 모든 모델 해석이 손실됩니다. 표준화의 장점은 정규화되지 않은 OLS 회귀 분석과 마찬가지로 모델을 해석 할 수 있다는 것입니다 (이미 이미 여기에서 답변 되었습니다 ).

— 디지 오
소스

정규화 된 모델은 정규화 유무에 관계없이 매우 다르게 작동합니다 !! 특히 기능을 규범화하지 않으면 기능마다 다른 처벌을받습니다!

— Haitao Du

나는 구체적으로 추정이 아니라 올가미 계수 해석 에 대해 이야기하고있었습니다 . 추정치가 변할 것이라는 점을 감안할 때 해석 변경을 어떻게 모델링 할 것인지 궁금합니다.

— Digio

답에서 당신이 연결하는 질문이 당신이 만들고있는 요점을지지하는 것 같지는 않습니다. 피쳐가 표준화 된 경우에만 ols 계수 해석이 올가미 계수와 일치하는 이유를 원래 게시물에서 더 명확하게 설명 할 수 있습니까? 감사합니다!

— user795305

@ 벤, 당신은 내 대답을 오해했습니다 (아마도 내 잘못). 대답 (표준화 여부) 어떤 상황에서도 - 내가 연결 한은 올가미에서 단순 회귀 분석 (OLS 또는 기타)의 모델 계수는 같은 방법으로 해석하는 방법에 대해 설명합니다. 정규화 (모든 유형 또는 파라 메트릭 회귀 분석)를 사용하면 원래 스케일이 손실되고 역변환없이 계수를 해석 할 수 없습니다. 표준화를 통해 모델을 일반적인 방식으로 해석합니다.

— Digio

@ 디지 오 : 왜 정규화로 인해 계수가 다른 스케일 변화보다 해석하기 어려울까요? 정규화와 표준화가 동일한 변환이 아닌 분자에 대해 사용됩니까? 둘 다 계수를 dV / dx로 해석하는 것과 같은 방식으로 역변환이 필요하며 스케일링되지 않은 피처 단위로 x가 사용됩니다. 예, 표준화 된 피처의 계수는 dV / dz로 직접 해석 될 수 있으며, z는 각 피처의 z- 점수이며,이 해석은 정규화에서는 불가능합니다. 그러나 이것이 정규화 된 기능의 계수가 모든 해석을 잃는다는 것을 의미합니까?

— OldSchool

정규화 방법은 정규화가 매우 중요합니다. 변수의 스케일이 특정 변수에 적용되는 정규화 정도에 영향을주기 때문입니다.

예를 들어, 하나의 변수가 매우 큰 규모, 예를 들어 수백만의 순서이고 다른 변수가 0에서 1이라고 가정하면 정규화는 첫 번째 변수에 거의 영향을 미치지 않을 것이라고 생각할 수 있습니다.

정규화뿐만 아니라 0에서 1로 정규화하거나 기능을 표준화하는 것은 그리 중요하지 않습니다.

— 하이 타오 뒤
소스

이 대답은 명백한 내용입니다. 여기서 "정규화"는 [0,1]의 모든 값을 압축하는 것을 의미하며 표준화를위한 또 다른 단어가 아닙니다. 문제는 [0,1]과 표준화 ~ N (0,1)의 정규화가 모델 계수에 미치는 영향에 관한 것입니다.

— Digio

[0,1]로 정규화한다는 것은 무엇을 의미합니까? 이를 달성하는 방법에는 여러 가지가 있습니다. 불이익 회귀에 대한 권장 사항은 정확히 무엇입니까?

— Cagdas Ozgenc

"(0,1) 척도에서 피처를 정규화"하는 질문에 따르면 피처 재조정 은 더 나은 용어 일 수 있지만 상대적 변동 중요도를 표현하는 계수 추정치를 생성하는 일반적인 기술입니다 (RF의 순도 측정과 유사). 그렇습니다.이를 달성 할 수있는 많은 방법이 있으며 불이익을받은 회귀에만 국한되는 것은 아니지만이 질문은 Lasso에 대한 기능 조정 (표준화 아님)의 영향에 관한 것입니다.

— Digio

"0에서 1로 정규화하거나 기능을 너무 중요하게 표준화하지 않는다"는 것은 무엇을 의미합니까? 어떤 의미에서 그렇게 중요하지 않은가? 이 주장에 대한 직관이나 참고 자료를 제공해 주시겠습니까?

— user795305