범주 형 데이터에 대해 벌칙을 적용하는 방법 : 요인의 수준 결합

처벌 모델은 매개 변수 수가 샘플 크기와 같거나 그보다 큰 모델을 추정하는 데 사용할 수 있습니다. 이 상황은 범주 형 또는 개수 데이터의 큰 희소 테이블의 로그 선형 모델에서 발생할 수 있습니다. 이러한 설정에서 다른 수준과 상호 작용하는 방식에서 해당 수준을 구별 할 수없는 요인 수준을 결합하여 표를 축소하는 것이 바람직하거나 도움이되는 경우가 많습니다. 두 가지 질문 :

LASSO 또는 탄성 그물과 같은 형벌 모델을 사용하여 각 요인 내에서 수준의 축소 가능성을 테스트하는 방법이 있습니까?
첫 번째 질문에 대한 답이 예라면, 레벨 붕괴와 모델 계수의 추정이 단일 단계에서 발생하는 방식으로 설정 될 수 있습니까?

— 앤드류
소스

이 백서 doi.org/10.1177/1471082X16642560 은 지난 10여 년 동안이 영역에서 수행 된 작업에 대한 훌륭한 개요를 제공합니다.

— Jorne Biccler

참고 : 아래에서 논의하는 페널티는 @JorneBiccler의 링크에서 방정식 3.4입니다. (이 질문이 전에 고려되었다는 것이 흥미 롭습니다!)

— user795305

의 가능한 중복 많은 값을 전처리 범주 변수

— 할보 르센 kjetil B

이 문제를 선행 질문에 어떻게 복제 할 수 있습니까?

— Michael R. Chernick

것이 가능하다. 이를 위해 융합 된 올가미 의 변형을 사용할 수 있습니다 .

추정기를 사용할 수 있습니다

\hat{β} = \arg min_{β} \frac{- 1}{n} \sum_{i = 1}^{n} (y_{i} β^{T} x_{i} - e^{β^{T} x_{i}}) + \sum_{factors g} λ_{g} (\sum_{j \in g} | β_{j} | + \frac{1}{2} \sum_{j, k \in g} | β_{j} - β_{k} |) .

$\hat{\beta} = \arg\min_{\beta} \frac{-1}{n} \sum_{i=1}^n \left(y_i \beta^T x_i - e^{\beta^T x_i} \right) + \sum_{\textrm{factors g}} \lambda_g \left(\sum_{j \in g} |\beta_j| + \frac{1}{2} \sum_{j,k \in g} |\beta_j - \beta_k| \right).$

참고 로그 - 선형 대한 감소 함수이고 모델. $\frac{-1}{n} \sum_{i=1}^n \left(y_i \beta^T x_i - e^{\beta^T x_i} \right)$

이것은 그룹 내의 계수가 동일하도록 권장합니다. 이 계수의 동등성은 계수의 및 레벨을 함께 축소하는 것과 같습니다 . 시의 경우 , 그 붕괴 등가의 기준 레벨과 레벨. 튜닝 매개 변수 는 일정하게 취급 될 수 있지만, 몇 가지 요인 만있는 경우에는 개별적으로 취급하는 것이 좋습니다. $j^{th}$ $k^{th}$ $\hat{\beta}_j=0$ $j^{th}$ $\lambda_g$

추정기는 볼록 함수의 최소화 기이므로 임의의 솔버를 통해 효율적으로 계산할 수 있습니다. 요인에 여러 수준이있는 경우 이러한 쌍별 차이가 사라질 수 있습니다.이 경우 가능한 붕괴 패턴에 대한 더 많은 구조를 알아야합니다.

이 작업은 모두 한 번에 완료됩니다! 이것은 올가미 타입 추정기를 너무 멋지게 만드는 것의 일부입니다!

또 다른 흥미로운 접근법은 OSCAR 추정기를 사용하는 것인데, 위약금 이 . $\|[-1 \, 1] \cdot [\beta_i \, \beta_j]'\|_1$ $\|[\beta_i \, \beta_j]\|_\infty$

— 사용자
소스