가우스 모형에서 최소 제곱과 MLE의 동등성

저는 머신 러닝을 처음 사용하며 스스로 배우려고합니다. 최근에 저는 강의 노트를 읽고 기본적인 질문을했습니다.

슬라이드 13은 "최소 제곱 추정값은 가우스 모형의 최대 우도 추정값과 동일합니다"라고 말합니다. 단순한 것 같지만 이것을 볼 수 없습니다. 누군가 여기서 무슨 일이 일어나고 있는지 설명해 주시겠습니까? 나는 수학을보고 싶다.

나중에 Ridge와 Lasso 회귀에 대한 확률 론적 관점을 보려고 노력할 것이므로 저에게 도움이 될만한 제안이 있으면 크게 감사하겠습니다.

regression bayesian least-squares

— 앤디
소스

p의 맨 아래에있는 목적 함수. 13은 p의 맨 아래에있는 목적 함수 의 상수 배수 ( )입니다. 10. MLE는 전자를 최소화하고 최소 제곱은 후자를 QED로 최소화합니다.

n

$n$

— whuber

@ whuber : 답변 주셔서 감사합니다. 내가 알고 싶었던 것은 MLE가 최소화를 어떻게 수행하고 있는지입니다.

— Andy

역학이나 개념을 의미합니까?

— whuber

@ whuber : 둘 다! 그 수학을 볼 수 있다면 도움이 될 것입니다.

— Andy

링크가 끊어졌습니다. 전체 참조가없고 인용문에 대한 컨텍스트가 많으면 참조를 제거하거나 대체 소스를 찾기가 어렵습니다. 이 링크의 슬라이드 13이면 충분합니까? --- cs.cmu.edu/~epxing/Class/10701-10s/recitation/recitation3.pdf

— Glen_b-복지국 Monica Monica

모델에서

$Y = X \beta + \epsilon$

여기서 , 대상체 의 샘플에 대한 의 로그 우도 는 (가산 상수까지) $\epsilon \sim N(0,\sigma^{2})$ $Y|X$ $n$

\frac{- n}{2} \log (σ^{2}) - \frac{1}{2 σ^{2}} \sum_{i = 1}^{n} (y_{i} - x_{i} β)^{2}

$\frac{-n}{2} \log(\sigma^{2}) - \frac{1}{2 \sigma^{2}} \sum_{i=1}^{n} (y_{i}-x_{i} \beta)^{2}$

만의 함수로 볼 때 최대화 기는 정확히 최소화하는 것입니다. $\beta$

\sum_{i = 1}^{n} (y_{i} - x_{i} β)^{2}

$\sum_{i=1}^{n} (y_{i}-x_{i} \beta)^{2}$

이것이 동등성을 분명히 하는가?

— 매크로
소스

이것이 바로 OP

— whuber

예. 그러나 13 페이지에서 가우스 로그 우도를 실제로 작성하지는 않습니다. 이렇게하면 argmax가 OLS 기준의 argmin과 동일하다는 것이 분명해 지므로 이것이 가치있는 추가 요소라고 생각했습니다.

— 매크로

좋은 점 : 슬라이드는 세부 사항이 약간 스케치되어 있습니다.

— whuber

오류가 일반적으로 회귀선 주위에 분포되어 있음을 알고 있으면 최소 제곱 추정기는 "최소 제곱"이 가장 좋다고 임의로 선언하는 것 외에 어떤 의미에서는 "최적"입니다. 능선 회귀와 관련하여이 솔루션은 가우시안 이전이 에있을 때 최소 제곱 추정량에 해당합니다 (베이지 인 경우) . 빈번한 세계에서는 최소 제곱 을 것과 같습니다 . 로지스틱 회귀 계수는 최소 제곱 문제에 대한 해결책이 아니므로 유사하지 않습니다.

β

$\beta$

L_{2}

$L_{2}$

— 매크로

추가 상수는n/2 log(2 *pi)

— SmallChess