왜 올가미 대신 그룹 올가미를 사용합니까?

13

그룹 올가미가 변수 그룹의 변수 선택 및 희소성에 사용된다는 것을 읽었습니다. 이 주장의 직관을 알고 싶습니다.

왜 올가미가 올가미보다 선호됩니까?
그룹 올가미 솔루션 경로가 부분적으로 선형이 아닌 이유는 무엇입니까?

— 상호 복수
소스

1

내가 Yuan and Lin (2006)으로부터 올가미는 요인 선택이 아닌 개별 변수를 선택하도록 설계되었다는 것을 이해합니다. 따라서 올가미는 변수 그룹의 선택에 해당하는 정확한 예측을 위해 중요한 주요 효과와 상호 작용을 선택하는 것이 목표 인 분산 분석 문제를 해결합니다. 다른 예는 각 성분이 원래 측정 된 변수의 기본 함수의 선형 조합으로 표현되는 다항식을 갖는 가법 모형입니다

— Vendetta

11

직관적으로 말하면, 이것은 우리를 통합하기위한 방법 (특정 유형의) 실제 계수 추정치에 대한 추가 정보 제공에 올가미 때문에 바람직 할 수 올가미 군 . 극단적 인 시나리오로서 다음을 고려하십시오. $\beta^*$

함께 넣어 의 지지체로서 . "oracle"추정기 두 그룹이있는 그룹 올가미입니다. 하나의 보완. 하자 의 최소 값 만드는 . 그룹 올가미 페널티의 특성으로 인해 에서 에서 (소수의 경우) $y \sim \mathcal{N} (X \beta^*, \sigma^2 I )$ $S = \{j : \beta^*_j \neq 0 \}$ $\beta^*$

\hat{β} = \arg min_{β} ‖ y - X β ‖_{2}^{2} + λ (| S |^{1 / 2} ‖ β_{S} ‖_{2} + (p - | S |)^{1 / 2} ‖ β_{S^{C}} ‖_{2}),

$\hat{\beta} = \arg\min_{\beta} \|y - X \beta\|_2^2 + \lambda \left( |S|^{1/2} \|\beta_S\|_2 + (p-|S|)^{1/2} \|\beta_{S^C}\|_2 \right),$

λ_{m a x}

$\lambda_{max}$

λ

$\lambda$

\hat{β} = 0

$\hat{\beta} = 0$

λ

$\lambda$

λ_{m a x}

$\lambda_{max}$

λ_{m a x} - ϵ

$\lambda_{max} - \epsilon$

ϵ > 0

$\epsilon > 0$ ) 정확히 하나의 그룹이 를 지원하게 되며 이는 의 추정치로 널리 알려져 있습니다. 높은 확률로 그룹화 가 이루어 지므로 선택한 그룹은 가되고 완벽한 작업을 수행하게됩니다.

\hat{β}

$\hat{\beta}$

S

$S$

S

$S$

실제로는 그룹을 잘 선택하지 않습니다. 그러나 그룹은 위의 극단적 인 시나리오보다 우수 함에도 불구하고 여전히 도움이 될 것입니다. 진정한 공변량 그룹과 비참 공변량 그룹 사이에서 선택이 여전히 이루어질 것입니다. 우리는 여전히 힘을 빌리고 있습니다.

이것은 여기에서 공식화 됩니다 . 그들은 어떤 조건 하에서, 그룹 올가미의 예측 오차에 대한 상한이 일반 올가미의 예측 오차에 대한 하한보다 낮음을 보여준다. 즉, 그들은 그룹화가 우리의 추정이 더 나아진다는 것을 증명했습니다.

두 번째 질문 : (일반) 올가미 페널티는 부분 선형이며, 이는 부분 선형 솔루션 경로를 발생시킵니다. 직관적으로, 올가미 그룹의 경우 패널티는 더 이상 부분적으로 선형이 아니므로 더 이상이 속성을 갖지 않습니다. 솔루션 경로의 부분 선형성에 대한 훌륭한 참조가 여기에 있습니다 . 제안 1을 참조하십시오. 및 . 그들은 올가미 그룹의 솔루션 경로가 경우에만 선형임을 보여줍니다. 는 부분적으로 상수입니다. 물론 페널티 에 글로벌 곡률이 있기 때문은 아닙니다 . $L(\beta) = \|y - X \beta\|_2^2$ $J(\beta) = \sum_{g \in G} |g|^{1/2} \|\beta_g\|_2$

{(\nabla^{2} L (\hat{β}) + λ \nabla^{2} J (\hat{β}))}^{- 1} \nabla J (\hat{β})

$\left( \nabla^2L(\hat{\beta}) + \lambda \nabla^2 J(\hat{\beta}) \right)^{-1} \nabla J(\hat{\beta})$

J

$J$

— 사용자
소스

2

지금은 많은 의미가 있습니다. 답변 주셔서 감사합니다.

— Vendetta

4

Ben의 대답이 가장 일반적인 결과입니다. 그러나 OP에 대한 직관적 인 답변은 범주 형 예측 변수의 경우 동기가 부여됩니다. 범주 형 예측 변수는 일반적으로 여러 개의 더미 변수 (각 범주마다 하나씩)로 인코딩됩니다. 많은 분석에서 이러한 더미 변수 (하나의 범주 형 예측 변수를 나타냄)를 별도로 고려하지 않고 함께 고려하는 것이 좋습니다.

예를 들어 5 단계의 범주 형 변수가있는 경우 직선형 올가미는 2 개와 3 개를 남길 수 있습니다. 원칙적으로 이것을 어떻게 처리합니까? 투표하기로 결정 하시겠습니까? 더 의미있는 범주 대신 더미 변수를 사용합니까? 더미 인코딩은 선택에 어떤 영향을 줍니까?

로지스틱 회귀 분석을위한 그룹 올가미를 소개하면서 다음 과 같이 말합니다 .

연속적 일뿐만 아니라 범주 형 예측 인자 (인자)가 존재할 때 선형 회귀 분석의 특수한 경우에 대해 올가미 솔루션은 전체 요인 대신 개별 더미 변수 만 선택하므로 만족스럽지 않습니다. 또한 올가미 솔루션은 더미 변수가 어떻게 인코딩되는지에 달려 있습니다. 범주 형 예측 변수에 대해 다른 대비를 선택하면 일반적으로 다른 솔루션이 생성됩니다.

벤이 지적한 바와 같이, 예측 변수 간에는 서로 미묘한 관계가 있음을 나타내는 더 미묘한 연결 고리가 있습니다. 그러나 범주 형 변수는 그룹 올가미의 포스터 하위입니다.

— 웨인
소스

@ Ben : 흠 ... OP의 첫 번째 의견을 실제로 이해할 수 없습니다. 현재 삭제 된 의견에 대한 답변 인 것 같습니다. 질문 자체와 제목 (대부분의 시청자가 읽을 내용)은 일반적인 질문 인 것 같습니다. 질문과 제목이 "범주 형 변수의 경우를 넘어 올가미로 그룹화하기 위해 어떤 명백하지 않은 응용 프로그램이 있습니까?"

— Wayne

괜찮아. 요인에 (일반) 올가미를 사용하여 추정치가 요인의 코딩에 어떻게 의존하는지에 대한 당신의 요점을 좋아합니다! 이전에는 그룹 올가미를 "파라미터 희소성"대신 "측정 희소성"이라고 생각했습니다. 즉, 계수를 측정해야하는지 여부를 결정해야합니다. 모든 수준을 선택하거나 선택하지 않아야합니다.

— user795305