정규화 방법에 대한 가장 중요한“초기 논문”은 무엇입니까?

여러 답변에서 CrossValidated 사용자는 OP가 Lasso, Ridge 및 Elastic Net에 대한 초기 논문을 제안한다고 제안했습니다.

후손을 위해 Lasso, Ridge 및 Elastic Net의 주요 작품은 무엇입니까?

단순히 참조를 찾고 있기 때문에 다음 목록이 있습니다.

1. 안드레아 니콜라 예비치 티코 노프 (1966). "반전 문제의 안정성에 관하여". Doklady Akademii Nauk SSSR. 39 (5) : 195-198.
2. AN Tikhonov, 1963 년. "О решении некорректно поставленных задач и методе регуляризации". Doklady Akademii Nauk SSSR. 151 : 501–504 .. "잘못 공식화 된 문제 해결 및 정규화 방법"으로 번역. 소비에트 수학. 4 : 1035-1038.
3. Hoerl AE, 1962, 회귀 문제에 대한 능선 분석 적용, 화학 공학 진행, 1958, 54–59.
4. Arthur E. Hoerl; 로버트 W. 케 나드 (1970). "릿지 회귀 : 비 직교 문제에 대한 편향 추정". 테크노 메트릭스. 12 (1) : 55–67. doi : 10.2307 / 1267351. https://pdfs.semanticscholar.org/910e/d31ef5532dcbcf0bd01a980b1f79b9086fca.pdf
5. Robert Tibshirani (1996). "올가미를 통한 회귀 축소 및 선택"(PostScript). 왕립 통계 학회지, 시리즈 B. 58 (1) : 267-288. MR 1379242 https://statweb.stanford.edu/~tibs/lasso/lasso.pdf
6. Zou, H. and Hastie, T. (2005). 탄성 망을 통한 규칙 화 및 변수 선택. 왕립 통계 학회지, 시리즈 B. 67 : 301–320 쪽. https://web.stanford.edu/~hastie/Papers/B67.2%20%282005%29%20301-320%20Zou%20&%20Hastie.pdf

역사적으로 중요한 논문은 편견 추정기가 일반 선형 모형에 대한 추정치가 향상 될 수 있음을 처음으로 보여줍니다.

• 1956 년 1 월 다변량 정규 분포의 평균에 대한 일반적인 추정량의 허용되지 않습니다. 수학적 통계와 확률에 관한 제 3 차 버클리 심포지움의 절차 (Vol. 1, No. 399, pp. 197-206).

SCAD 및 MCP에는 몇 가지 현대적이고 중요한 처벌이 포함됩니다.

• Fan, J. and Li, R., 2001. 비 오목한 벌점 가능성과 그 오라클 속성을 통한 변수 선택. 미국 통계 협회 저널, 96 (456), pp.1348-1360.
• Zhang, CH, 2010. minimax 오목한 페널티에서 거의 공정하지 않은 변수 선택. 통계 연대기, 38 (2), pp.894-942.

그리고이 방법을 사용하여 추정치를 얻는 매우 좋은 알고리즘에 대해 더 자세히 설명합니다.

• Breheny, P. and Huang, J., 2011. 생물학적 특징 선택에 적용되는 비 볼록한 회귀 회귀 분석을위한 하강 알고리즘. 적용된 통계의 연대기, 5 (1), p.232.
• Mazumder, R., Friedman, JH and Hastie, T., 2011. Sparsenet : 볼록하지 않은 벌칙에 따른 조율 하강. 미국 통계 협회 저널, 106 (495), pp.1125-1138.

또한 LASSO와 밀접한 관련이있는 Dantzig 셀렉터에 대한이 백서도 살펴볼 가치가 있지만, 필자는 상당히 강력한 아이디어 인 통계 추정기의 오라클 불평등에 대한 아이디어를 소개합니다.

• Cantz, E. 및 Tao, T., 2007. Dantzig 선택기 : p가 n보다 훨씬 큰 경우 통계적 추정. 통계의 연대기, pp.2313-2351.