Gauss-Markov 정리는 OLS 추정기가 선형 회귀 모형에 가장 적합한 선형 비 편향 추정기라고 알려줍니다.
그러나 선형성과 편견에 신경 쓰지 않는다고 가정하십시오. 그런 다음 Gauss-Markov 가정 또는 다른 일반적인 가정 세트에서 가장 효율적인 선형 회귀 모델에 대한 다른 (비선형 / 바이어스 가능) 추정기가 있습니까?
물론 하나의 표준 결과가 있습니다. OLS 자체는 가우스 마르코프 가정과 더불어 오차가 정규 분포를 따른다고 가정 할 경우 최상의 편견 추정량입니다. 다른 특정 오류 분포의 경우 해당 최대 가능성 추정값을 계산할 수 있습니다.
그러나 상대적으로 일반적인 상황에서 OLS보다 나은 추정기가 있는지 궁금합니다.
답변:
편견없는 추정치는 1) 고전적, 2) 수학적으로 분석하기 쉽기 때문에 입문 통계 과정에서 일반적입니다. Cramer-Rao 하한은 2)의 주요 도구 중 하나입니다. 편견 치 않은 추정치로부터 개선이 가능합니다. 편향-분산 트레이드 오프는 편향된 추정치가 편향되지 않은 추정치보다 더 나은 방법을 이해하기위한 통계에서 중요한 개념입니다.
불행하게도, 편향 추정기는 일반적으로 분석하기가 더 어렵습니다. 회귀에서 지난 40 년간의 많은 연구는 편견 추정에 관한 것이었다. 이는 능선 회귀로 시작되었다 (Hoerl and Kennard, 1970). 검토 및 통찰력에 대해서는 Frank and Friedman (1996) 및 Burr and Fry (2005) 를 참조하십시오 .
변수 수가 많은 고차원에서는 바이어스-분산 트레이드 오프가 더 중요해집니다. Charles Stein은 정규 평균 문제에서 인 경우 표본 평균을 더 이상 허용 할 수 없음을 증명했을 때 모두를 놀라게했습니다 (Stein, 1956 참조). James-Stein 추정기 (James and Stein 1961)는 표본 평균을 지배하는 추정기의 첫 번째 예입니다. 그러나 허용되지 않습니다.
치우침-분산 문제의 중요한 부분은 치우침이 어떻게 절충되어야 하는지를 결정하는 것입니다. "최상의"추정기는 하나도 없습니다 . 희소성은 지난 10 년간 연구의 중요한 부분이었습니다. 참조 Hesterberg 등을. (2008) 부분 검토.
위에서 언급 한 대부분의 추정값은 에서 비선형입니다 . 데이터가 리지 매개 변수를 결정하는 데 사용되면 릿지 회귀도 비선형입니다.
Bayes Estimate를 사용해도 괜찮은지 모르겠습니다. 그렇다면 Loss 기능에 따라 다른 Bayes Estimates를 얻을 수 있습니다. Blackwell의 정리에 따르면 Bayes Estimates는 절대로 편향되지 않습니다. 의사 결정 이론적 주장은 모든 허용 가능한 규칙 (즉, 비교되는 다른 모든 규칙, 현재 규칙의 위험이 규칙의 위험보다 (엄격하게) 낮은 매개 변수의 값이 있음을 나타냅니다. 비교))는 (일반화 된) 베이 즈 규칙입니다.
James-Stein Estimators는 많은 경우에 OLS보다 나은 다른 클래스의 추정기입니다 (Baysian 방법으로 무증상으로 파생 될 수 있음).
많은 상황에서 OLS를 사용할 수 없으며 James-Stein Estimator가 그 예입니다. (Stein의 역설이라고도 함).
Kay와 Eldar 는 최소 평균 제곱 오차를 갖는 추정기를 찾는 목적으로 편향 추정에 대한 좋은 검토 논문이 있습니다.