최대 우도 방법 대 최소 제곱 방법

최대 우도 추정 (MLE)과 최소 제곱 추정 (LSE)의 주요 차이점은 무엇입니까?

선형 회귀 분석에서 값 을 예측하기 위해 MLE을 사용할 수없는 이유는 무엇 입니까? $y$

이 주제에 대한 도움을 주시면 감사하겠습니다.

— 에 브로스
소스

원하는 경우 선형 회귀 분석에서 MLE을 사용할 수 있습니다. 오차 분포가 비정규이고 목표가 제곱의 합을 최소화하는 것보다 "가장 가능성이 높은"추정치를 얻는 것이라면 이것이 합리적 일 수 있습니다.

— Richard Hardy

선형 회귀 분석에서 일반적으로 가정되는 일반적인 오류 가정에서는 MLE과 LSE가 동일합니다!

— TrynnaDoStat

당사 사이트에서 Gauss-Markov 정리 를 검색하십시오 .

— whuber

모든 답장을 보내 주셔서 감사합니다. 이제 이치에 맞습니다. 인터넷 에서이 주제를 검색하는 동안이 기사를 보았습니다. 아마 이것 또한 도움이됩니다 : radfordneal.wordpress.com/2008/08/09/…

— evros

답변은 stats.stackexchange.com/questions/12562/… 에서도 제공됩니다 .

— whuber

답변:

간단한 답변을 제공하고 싶습니다.

최대 우도 추정 (MLE)과 최소 제곱 추정 (LSE)의 주요 차이점은 무엇입니까?

@TrynnaDoStat이 언급했듯이, 제곱 오차를 최소화하는 것은이 경우의 가능성을 최대화하는 것과 같습니다. Wikipedia 에서 말했듯이

선형 모형에서 오류가 정규 분포에 속하는 경우 최소 제곱 추정값도 최대 가능성 추정값입니다.

그들은 당신의 경우에 동일하게 볼 수 있습니다

좀 자세히 설명하겠습니다. 우리는 반응 변수 (것을 알고 있기 때문에 ) 정상적인 에러 분포 모델있다 우도 함수이고, 분명히 L을 최대화하는 것은 을 최소화하는 것과 같습니다. 가장 작은 제곱 법입니다. $y$

{와이}_{나는} = λ_{1} {엑스}_{나는} + λ_{2} + ϵ_{나는} 어디 ϵ \sim 엔 (0, σ^{2})

$Y_i=\lambda_1X_i+\lambda_2+\epsilon_i \quad\text{ where }\epsilon\thicksim N(0,\sigma^2)$

엘 ({와이}_{1}, \dots, {와이}_{엔}; λ_{1}, λ_{2}, σ^{2}) = \frac{1}{(2 π)^{\frac{엔}{2} σ^{엔}}} 이자형 엑스 피 (\frac{- 1}{2 σ^{2}} (\sum_{나는 = 1}^{엔} ({와이}_{나는} - λ_{1} {엑스}_{나는} - λ_{2})^{2}))

$L(Y_1,\dots,Y_n;\lambda_1,\lambda_2,\sigma^2)=\frac{1}{(2\pi)^{\frac{n}{2}\sigma^n}}exp(\frac{-1}{2\sigma^2}(\sum_{i=1}^n(Y_i-\lambda_1X_i-\lambda_2)^2))$

\sum_{나는 = 1}^{엔} ({와이}_{나는} - λ_{1} {엑스}_{나는} - λ_{2})^{2}

$\sum_{i=1}^n(Y_i-\lambda_1X_i-\lambda_2)^2$

선형 회귀 분석에서 값 을 예측하기 위해 MLE을 사용할 수없는 이유는 무엇 입니까? $y$

위에서 설명한 것처럼 우리는 실제로 값 을 예측하기 위해 MLE을 사용 합니다. 응답 변수에 Bernoulli 분포 또는 지수 패밀리의 분포와 같은 정규 분포가 아닌 임의 분포가있는 경우 링크 함수 (응답 분포에 따라)를 사용하여 선형 예측 변수를 반응 변수 분포에 매핑 하면 우도 함수가됩니다. 변환 후 모든 결과의 결과 (0과 1 사이의 확률). 선형 회귀에서 링크 함수를 항등 함수로 처리 할 수 있습니다 (응답이 이미 확률이므로). $y$

— 레너 장
소스

일반적으로 최대 가능성과 최소 제곱이 같지 않기 때문에 "이 사례"를 좀 더 명확하게 정의 할 수 있습니다.

— Matthew Gunn

@MatthewGunn 그래, 나는 "같은"이외의 "동등한"을 사용했습니다.

— Lerner Zhang

선형 모델이 비정규 오차 분포를 따르는 예와 그러한 경우 MLE을 사용하여 최상의 계수를 추정하는 방법을 알려 주면 좋을 것입니다. 수없는 경우, 적어도 당신은 포아송 회귀 분석 등이 사용하는 선형 모델을 보여 올바른 소스, 우리를 가리킬 수 있습니다

— VM_AI

$L_1$ $L_2$

$L_2$ $L_2$

데이터 스누핑
확률 매개 변수
약한 제약

전문 응용 프로그램은 데이터에 적합하지 않고 다음을 확인합니다.

매개 변수가 중요한 경우
데이터 집합에 특이 치가있는 경우
성능을 손상시키지 않기 때문에 허용 할 수있는 이상치
자유도에 영향을 미치지 않으므로 어떤 측정을 제거해야합니까?

또한 가설에 대한 수많은 특수 통계 검정이 있습니다. 이것은 모든 ML 추정기에 적용 할 필요는 없으며 최소한 증거로 명시해야합니다.

또 다른 불쾌한 점은 -Norm이 구현하기 매우 쉽고 베이지안 정규화 또는 Levenberg-Marquard와 같은 다른 알고리즘으로 확장 될 수 있다는 것입니다. $L_2$

잊지 말아야 할 것 : 성능. Gauss-Markov 과 같은 모든 정사각형 사례가 대칭 양수의 명확한 정규 방정식을 생성 하지는 않습니다 . 따라서 각 -Norm 마다 별도의 라이브러리를 사용합니다 . 이 특정 경우에 대해 특별한 최적화를 수행 할 수 있습니다. $\mathbf{X\beta}=\mathbf{L}+\mathbf{r}$ $(\mathbf{X}^{T}\mathbf{X})^{-1}$ $L_2$

자세한 내용은 부담없이 문의하십시오.

— 날리
소스