LASSO 회귀 계수의 해석


12

현재 ~ 300 개의 변수와 800 개의 관측치가있는 데이터 세트에서 이진 결과에 대한 예측 모델을 작성 중입니다. 이 사이트에서 단계별 회귀와 관련된 문제와 사용하지 않는 이유에 대해 많이 읽었습니다.

저는 LASSO 회귀와 기능 선택 기능을 읽고 "캐럿"패키지 및 "glmnet"을 사용하여 구현에 성공했습니다.

나는 최적으로 모델의 계수를 추출 할 수 있어요 lambda및 alpha"캐럿"에서를; 그러나 계수를 해석하는 방법에 익숙하지 않습니다.

  • LASSO 계수는 로지스틱 회귀와 같은 방법으로 해석됩니까?
  • 로지스틱 회귀 분석에서 LASSO에서 선택한 기능을 사용하는 것이 적절합니까?

편집하다

다른 모든 계수를 일정하게 유지하면서 계수의 1 단위 변화에 대한 로그 확률로 LASSO 회귀로부터의 지수 계수에서와 같이 계수의 해석.

https://stats.idre.ucla.edu/other/mult-pkg/faq/general/faq-how-do-i-interpret-odds-ratios-in-logistic-regression/


"로지스틱 회귀와 같은 방식으로 해석 됨"의 의미를 약간 채울 수 있습니까? 어떤 해석을 일반화하고 싶은지 정확히 아는 것이 매우 유용합니다.
— Matthew Drury

1
@Matthew Drury-저의 코스워크가 LASSO를 넘어 가지 않았기 때문에 시간을 내 주셔서 감사합니다. 일반적으로 대학원 과정에서 배운 내용에서 로지스틱 회귀 분석의 지수 계수는 다른 모든 계수를 일정하게 유지하면서 계수의 1 단위 증가에 대한 로그 확률을 산출합니다.
— Michael Luu

1
αλα

내가 알 수있는 한, 계수에 대한 유의성 테스트는 대부분의 LASSO 구현에 도입되지 않았습니다. 따라서 OLS에서 통계적으로 유의 한 변수를 결정할 수 있지만 선택한 해당 변수의 LASSO 계수가 고려해야 할 "중요한"변수라는 약한 진술을 제외하고는 LASSO로 그렇게 할 수 없다는 점이 차이가 될 수 있습니까?
— godspeed

답변:


13

LASSO 계수는 로지스틱 회귀와 같은 방법으로 해석됩니까?

다시 말해서 : LASSO 계수 는 로지스틱 회귀 분석에서 OLS 최대 우도 계수 와 같은 방식으로 해석 됩니까?

LASSO (벌칙 추정 방법) 는 OLS 최대 가능성 (벌칙 없음 )과 동일한 수량 (모델 계수) 을 추정하는 것을 목표로합니다 . 모델은 동일하며 해석은 동일하게 유지됩니다. LASSO의 수치는 일반적으로 OLS 최대 가능성 과는 다릅니다 . 일부는 0에 가까울 것이고, 다른 것은 정확히 0입니다. 상당한 양의 벌칙이 적용된 경우 LASSO 추정치는 OLS 최대 가능성 추정치 보다 실제 값에 더 가깝게되어 바람직한 결과입니다.

로지스틱 회귀 분석에서 LASSO에서 선택한 기능을 사용하는 것이 적절합니까?

그것의 본질적인 문제는 없지만, 특징 선택뿐만 아니라 계수 추정에도 LASSO를 사용할 수 있습니다. 위에서 언급했듯이 LASSO 추정치는 OLS 최대 가능성 추정치 보다 정확할 수 있습니다 .


이 답변에 감사드립니다! 많은 의미가 있습니다! 이 문제에 대한 나의 제한된 지식을 변명하십시오. 다른 의견에서 언급했듯이 최적의 람다와 알파를 선택하기 때문에 캐럿을 통해 LASSO 대신 탄력적 인 그물을 사용할 수 있다고 언급했습니다. 계수와 관련하여 동일하게 적용됩니까?
— Michael Luu

그렇습니다. 기본 논리는 동일하게 유지됩니다.
— Richard Hardy

당신은 "통역이 동일하게 유지됩니다"라고 씁니다. 이 점을 이해하도록 도와 주실 수 있습니까? 다중 회귀 설정에서 OLS 계수의 해석은 부분 회귀 도표 에 의존하는 것 같습니다 . 그러나이 속성은 올가미 계수를 보유하지 않으므로 해석이 다를 것이라고 믿게되었습니다.
— user795305

1
@Ben, 기본 통계 모델을 가정 할 경우, OLS와 올가미라는 두 가지 인기있는 모델을 다른 방식으로 추정 할 수 있습니다. 추정 된 계수는 동일한 목표를 목표로하며, 두 가지 추정 오차 (제곱 된 경우 바이어스와 분산으로 분해 될 수 있음)가 있으므로 이러한 의미에서 해석은 동일합니다. 물론 방법은 같지 않으므로 다른 추정 계수 값을 얻습니다. 방법과 대수적 및 기하학적 해석에 관심이 있다면, 그것들은 동일하지 않습니다. 그러나 주제에 대한 해석은 동일합니다.
— Richard Hardy

(1,…,p)T
당사 사이트를 사용함과 동시에 당사의 쿠키 정책과 개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.