변수 선택에 올가미를 사용한 후의 추론

상대적으로 낮은 차원 설정 (n >> p)에서 피처 선택을 위해 올가미를 사용하고 있습니다. 올가미 모델을 피팅 한 후, 0이 아닌 계수를 갖는 공변량을 사용하여 페널티가없는 모델을 피팅하려고합니다. 올가미가 나에게 줄 수없는 편견없는 견적을 원하기 때문에이 작업을 수행하고 있습니다. 또한 편견없는 추정치에 대한 p- 값과 신뢰 구간을 원합니다.

이 주제에 관한 문헌을 찾는 데 어려움을 겪고 있습니다. 내가 찾은 대부분의 문헌은 개조 모델이 아니라 올가미 추정치에 신뢰 구간을 설정하는 것에 관한 것입니다.

내가 읽은 것에서 전체 데이터 세트를 사용하여 단순히 모델을 다시 작성하면 비현실적으로 작은 p- 값 / 표준 오류가 발생합니다. 현재 샘플 분리 (Wasserman and Roeder (2014) 또는 Meinshausen et al. (2009) 스타일)가 좋은 조치가 될 것 같지만 더 많은 제안을 찾고 있습니다.

누구든지이 문제가 발생 했습니까? 그렇다면 몇 가지 제안을 제공해 주시겠습니까?

— 엘리 크
소스

신뢰 구간이 (적어도 무증상) 올바른 범위를 갖는 한 올가미 추정기가 편향되어 있는지 왜 중요한지 이해하지 못합니다. 이것이 올가미에 의해 복구 된 지원에 대해 OLS 추정치를 맞추려는 유일한 이유입니까?

— user795305

어쩌면 내가 읽은 것을 잘못 이해했을 수도 있지만, 무의식적으로 올바른 범위는 실제 희소하지만 편견이 아닌 추정치가 아닌 치우친 추정치를 나타내지 않습니까?

— EliK

"진정한 희소하지만 편향되지 않은"추정치의 의미가 무엇인지 확실하지 않지만 올가미 추정치에 점증 적으로 올바른 적용 범위의 신뢰 구간이있는 경우 더 이상 할 일이 없습니다. Greenparker (+1)가 방금 링크 한 논문은 올가미와 올레 계수에서 무증상으로 정확한 신뢰 구간을 개발하는 방법에 대해 부분적으로 논의하는 정말 흥미로운 논문입니다. 편견이 중요하지 않기 때문에 편향 계수를 얻기 위해 OLS를 맞출 필요가 없음을 지적하려고합니다.

— user795305

내가 오해 한 것 같아 당신이 말하는 무의식적으로 올바른 적용 범위는 true 매개 변수와 관련이 있습니다. 따라서 올가미는 편향된 계수를 제공하지만 실제 모수에 대한 정확한 범위를 갖는 신뢰 구간을 구성 할 수 있습니까?

— EliK

모형을 선택 했으므로 올가미없이 추정하면 추정치가 기반이되지 않습니다. select-variables-the-fit-via-OLS 이후 모델에서 항의 계수는 실제로 다른 형태의 변수 선택과 마찬가지로 0에서 멀어집니다. 소량의 수축은 실제로 바이어스를 줄일 수 있습니다.

— Glen_b-복지국 모니카

답변:

이전 응답에 추가합니다. Tibshirani와 동료의 최근 작업을 반드시 확인해야합니다. 그들은 올가미 유형 방법에 대한 선택 수정 p- 값 및 신뢰 구간을 유추하기위한 엄격한 프레임 워크를 개발했으며 R 패키지도 제공합니다.

보다:

Lee, Jason D. 외. "올가미에 적용한 정확한 사후 선택 추론." 통계의 연대기 44.3 (2016) : 907-927. ( https://projecteuclid.org/euclid.aos/1460381681 )

테일러, 조나단, 로버트 J. 티브 라니 "통계 학습과 선택적 추론." 국립 과학 아카데미 112.25 (2015) : 7629-7634의 절차.

R 패키지 :

https://cran.r-project.org/web/packages/selectiveInference/index.html

— 슈 버트
소스

일반적으로, 올가미를 통해 변수 선택을 한 후 페널티를 사용하지 않는 것을 재개하는 것은 이미 데이터를 검토 한 결과 p- 값과 신뢰 구간이 유효하지 않기 때문에 "속임수"로 간주됩니다.

$p$

올가미에 의해 선택된 변수 세트는 결정 론적이며 데이터에 의존하지 않을 확률이 높다.

따라서 데이터를 두 번 엿보는 것은 문제가되지 않습니다. 문제에 대해 용지 보류에 명시된 조건이 있는지 확인해야합니다.

(이 논문에는 유용한 참고 자료가 많이 있습니다)

참고:

Zhao, S., Shojaie, A. & Witten, D. (2017). 방어 불가능한 방어 : 고차원 적 추론에 대한 매우 순진한 접근. https://arxiv.org/pdf/1705.05543.pdf 에서 검색

— 그린 파커
소스

+1 그러나 저자는 "매우 큰 데이터 설정에서"를 제외하고는 접근 방식을 명시 적으로 권장 하지 않는다는 점에 주목할 가치가 있습니다 . 실제로이 방법은 표본 크기가 작거나 중간이거나 가정이 충족되지 않으면 성능이 저하됩니다 (27 페이지). 기록을 위해이 논문은 Zhao, Shojaie 및 Witten, InDefensible의 방어 : 고차원 추론에 대한 매우 순진한 접근법 (2017 년 5 월 16 일)입니다.

— whuber

@whuber 또한이 논문은 arxiv.org에 있음을 명심하십시오.이 논문이 동료 검토인지 확실하지 않으므로 저자의 방법론에 다른 문제가있을 수 있습니다.

— RobertF

Applied Econometrics 문학에서 대중화되고있는 직교 / 이중 머신 러닝 문헌의 논문을 추가하고 싶었습니다.

Belloni, Alexandre, Victor Chernozhukov 및 Christian Hansen. "고차원 컨트롤 중에서 선택 후 처리 효과에 대한 추론." 경제학 검토 81.2 (2014) : 608-650.

이 논문은 LASSO를 사용하여 "기타"컨트롤을 선택한 후 변수의 영향에 대한 OLS 추정치의 이론적 속성을 다룹니다.
Victor Chernozhukov, Denis Chetverikov, Mert Demirer, Esther Duflo, Christian Hansen, Whitney Newey, James Robins, 치료 및 구조적 매개 변수에 대한 이중 / 토의 기계 학습, The Econometrics Journal, Volume 21, Issue 1, 2018 년 2 월 1 일, 페이지 C1–C68 , https://doi.org/10.1111/ectj.12097

이를 통해 많은 비모수 적 방법 (ML 알고리즘)을 사용하여 고차원 성가심 매개 변수 (공동 자)를 비선형으로 제어하고 결과에 대한 특정 공변량의 영향을 연구하는 포괄적 인 이론을 개발합니다. 부분 선형 프레임 워크와 완전히 파라 메트릭 프레임 워크를 처리합니다. 또한 관심 변수가 혼동되는 상황도 고려합니다.

— 파이트 밀크
소스