LASSO 회귀 계수의 해석


12

현재 ~ 300 개의 변수와 800 개의 관측치가있는 데이터 세트에서 이진 결과에 대한 예측 모델을 작성 중입니다. 이 사이트에서 단계별 회귀와 관련된 문제와 사용하지 않는 이유에 대해 많이 읽었습니다.

저는 LASSO 회귀와 기능 선택 기능을 읽고 "캐럿"패키지 및 "glmnet"을 사용하여 구현에 성공했습니다.

나는 최적으로 모델의 계수를 추출 할 수 있어요 lambdaalpha"캐럿"에서를; 그러나 계수를 해석하는 방법에 익숙하지 않습니다.

  • LASSO 계수는 로지스틱 회귀와 같은 방법으로 해석됩니까?
  • 로지스틱 회귀 분석에서 LASSO에서 선택한 기능을 사용하는 것이 적절합니까?

편집하다

다른 모든 계수를 일정하게 유지하면서 계수의 1 단위 변화에 대한 로그 확률로 LASSO 회귀로부터의 지수 계수에서와 같이 계수의 해석.

https://stats.idre.ucla.edu/other/mult-pkg/faq/general/faq-how-do-i-interpret-odds-ratios-in-logistic-regression/


"로지스틱 회귀와 같은 방식으로 해석 됨"의 의미를 약간 채울 수 있습니까? 어떤 해석을 일반화하고 싶은지 정확히 아는 것이 매우 유용합니다.
Matthew Drury

1
@Matthew Drury-저의 코스워크가 LASSO를 넘어 가지 않았기 때문에 시간을 내 주셔서 감사합니다. 일반적으로 대학원 과정에서 배운 내용에서 로지스틱 회귀 분석의 지수 계수는 다른 모든 계수를 일정하게 유지하면서 계수의 1 단위 증가에 대한 로그 확률을 산출합니다.
Michael Luu

1
αλα

내가 알 수있는 한, 계수에 대한 유의성 테스트는 대부분의 LASSO 구현에 도입되지 않았습니다. 따라서 OLS에서 통계적으로 유의 한 변수를 결정할 수 있지만 선택한 해당 변수의 LASSO 계수가 고려해야 할 "중요한"변수라는 약한 진술을 제외하고는 LASSO로 그렇게 할 수 없다는 점이 차이가 될 수 있습니까?
godspeed

답변:


13

LASSO 계수는 로지스틱 회귀와 같은 방법으로 해석됩니까?

다시 말해서 : LASSO 계수 는 로지스틱 회귀 분석에서 OLS 최대 우도 계수 와 같은 방식으로 해석 됩니까?

LASSO (벌칙 추정 방법) OLS 최대 가능성 (벌칙 없음 )과 동일한 수량 (모델 계수) 을 추정하는 것을 목표로합니다 . 모델은 동일하며 해석은 동일하게 유지됩니다. LASSO의 수치는 일반적으로 OLS 최대 가능성 과는 다릅니다 . 일부는 0에 가까울 것이고, 다른 것은 정확히 0입니다. 상당한 양의 벌칙이 적용된 경우 LASSO 추정치는 OLS 최대 가능성 추정치 보다 실제 값에 더 가깝게되어 바람직한 결과입니다.

로지스틱 회귀 분석에서 LASSO에서 선택한 기능을 사용하는 것이 적절합니까?

그것의 본질적인 문제는 없지만, 특징 선택뿐만 아니라 계수 추정에도 LASSO를 사용할 수 있습니다. 위에서 언급했듯이 LASSO 추정치는 OLS 최대 가능성 추정치 보다 정확할 수 있습니다 .


이 답변에 감사드립니다! 많은 의미가 있습니다! 이 문제에 대한 나의 제한된 지식을 변명하십시오. 다른 의견에서 언급했듯이 최적의 람다와 알파를 선택하기 때문에 캐럿을 통해 LASSO 대신 탄력적 인 그물을 사용할 수 있다고 언급했습니다. 계수와 관련하여 동일하게 적용됩니까?
Michael Luu

그렇습니다. 기본 논리는 동일하게 유지됩니다.
Richard Hardy

당신은 "통역이 동일하게 유지됩니다"라고 씁니다. 이 점을 이해하도록 도와 주실 수 있습니까? 다중 회귀 설정에서 OLS 계수의 해석은 부분 회귀 도표 에 의존하는 것 같습니다 . 그러나이 속성은 올가미 계수를 보유하지 않으므로 해석이 다를 것이라고 믿게되었습니다.
user795305

1
@Ben, 기본 통계 모델을 가정 할 경우, OLS와 올가미라는 두 가지 인기있는 모델을 다른 방식으로 추정 할 수 있습니다. 추정 된 계수는 동일한 목표를 목표로하며, 두 가지 추정 오차 (제곱 된 경우 바이어스와 분산으로 분해 될 수 있음)가 있으므로 이러한 의미에서 해석은 동일합니다. 물론 방법은 같지 않으므로 다른 추정 계수 값을 얻습니다. 방법과 대수적 및 기하학적 해석에 관심이 있다면, 그것들은 동일하지 않습니다. 그러나 주제에 대한 해석은 동일합니다.
Richard Hardy

(1,,p)T
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.