통계 학자들은 LASSO (정규화)의 작동 방식을 실제로 이해하지 못한다고 말할 때 무엇을 의미합니까?

나는 최근 올가미 (정규화)에 관한 몇 가지 통계 토론에 참석했으며 계속 올라가는 요점은 올가미가 왜 작동하는지 또는 왜 그렇게 잘 작동하는지 이해하지 못한다는 것입니다. 이 진술이 무엇을 말하는지 궁금합니다. 분명히 나는 올가미가 매개 변수 축소로 과적 합을 방지하여 기술적으로 작동하는 이유를 이해하지만 그러한 진술 뒤에 더 깊은 의미가 있는지 궁금합니다. 누구든지 아이디어가 있습니까? 감사!

machine-learning lasso regularization

— 사용자
소스

"works"를 정의하십시오. 정확히 무엇을 하는가? 희소성을 높이기 위해 작동합니까? 과적 합을 방지하기 위해 작동합니까? 합리적인 통계 테스트를 수행합니까? -아니면 다시 말하면,이 문맥에서 "작동하지 않는다"는 것은 무엇을 의미합니까? -현재 답변에 대한 의견에서 알 수 있듯이, 당신이 무엇을했는지에 대한 혼란이 있습니다.

— RM

@RM, 당신은 실제로 OPHO를 표현하고 있습니다. OP는 아마도 식별하기 어려운 문제와 동일 할 것입니다.

— Richard Hardy

@RichardHardy 나는 그것이 어떻게 될 수 있는지 알지만, 그렇다면, 그 연설이 나온 통계 대화에서 OP가 컨텍스트에서 확장 될 수 있기를 바랍니다. 생각하고있다.

— RM

@RM, 그럼 좋아.

— Richard Hardy

답변:

올가미와 같은 방법의 기초를 연구하는 작업 통계 학자와 학습 이론 커뮤니티간에 의사 소통이 부족한 경우가 있습니다. 올가미의 이론적 특성은 실제로 매우 잘 이해됩니다.

이 문서는 4 장에서 많은 속성을 요약 한 것입니다. 결과는 매우 기술적이지만 본질적으로 다음과 같습니다.

그것은 충분히 큰 데이터 세트에 대해 높은 확률로 약간의 가벼운 가정하에 희소 가중치 벡터의 진정한 지원 (0이 아닌 항목 세트)을 복구합니다.
$X$

— 아론 데 파지오
소스

올가미가 왜 작동하는지 이해함으로써 기능 선택을 수행하는 이유 (즉, 일부 기능의 가중치를 정확히 0으로 설정)를 이해한다는 것을 의미합니다.

— 헹구기
소스

좋은 설명을 해주셔서 감사하지만 OP가 관심있는 부분이 아니라고 생각합니다. 물론이를 명확히하는 것은 OP의 책임입니다.

— Richard Hardy

다이어그램의 요점을 이해하지 못합니다.

— Michael R. Chernick 2016 년

L_{1}

$L_1$

\hat{λ}

$\hat \lambda$

@Chaconne, 당신의 요점은 답을위한 훌륭한 기초를 형성합니다!

— Richard Hardy

@Chaconne, 그것은 우리 가 올가미에 대해 이해 하는 것을 식별함으로써 유용한 토론을 생성하는 것처럼 보였습니다 !

— rinspy

모델 선택 일관성 ( 통계 전문가 에 의해 답변 됨 ) 의 부호 복구 문제가 있으며

연구 주제에 이르기까지 추론의 문제 (추정치에 대한 신뢰 구간을 구성)가 있습니다.

대부분의 작업은 "학습 이론 커뮤니티"보다는 통계학자가 수행합니다.

— 가오 정
소스

이것이 이미 주어진 것에 어떻게 추가됩니까?

— Michael R. Chernick

여기서 유추의 문제에 대해 언급 한 사람은 아무도 없으며, 이것이 처음에 주장 ( "잘 이해되지 않음")이 이루어진 이유라고 생각합니다.

— Gao Zheng