선형 회귀의 경우 MLE와 최소 제곱의 관계

Hastie와 Tibshirani는 그들의 책의 4.3.2 절 에서 선형 회귀 설정에서 최소 제곱 접근은 실제로 최대 가능성의 특별한 경우 라고 언급했습니다 . 이 결과를 어떻게 증명할 수 있습니까?

추신 : 수학적 세부 사항이 없습니다.

regression maximum-likelihood least-squares

— 프라 디 니쉬 조시
소스

특별한 경우는 아닙니다. 오류 분포가 정상일 때와 동일합니다.

— 잔 시옹

선형 회귀 모형

$Y = X\beta + \epsilon$ , 여기서 $\epsilon \sim N(0,I\sigma^2)$

$Y \in \mathbb{R}^{n}$ , 및 $X \in \mathbb{R}^{n \times p}$ $\beta \in \mathbb{R}^{p}$

모델 오류 (잔여)는 입니다. 우리의 목표는 규범을이 오차의 제곱으로 최소화하는 의 벡터를 찾는 것입니다 . ${\bf \epsilon = Y - X\beta}$ $\beta$ $L_2$

최소 제곱

각 가 차원 인 데이터 이 주어지면 다음을 찾습니다. $(x_1,y_1),...,(x_n,y_n)$ $x_{i}$ $p$

{\hat{β}}_{엘 에스} = \underset{β}{아르 민} | | ϵ | |^{2} = \underset{β}{아르 민} | | 와이 - 엑스 β | |^{2} = \underset{β}{아르 민} \sum_{나는 = 1}^{엔} ({와이}_{나는} - {엑스}_{나는} β)^{2}

$\widehat{\beta}_{LS} = {\underset \beta {\text{argmin}}} ||{\bf \epsilon}||^2 = {\underset \beta {\text{argmin}}} ||{\bf Y - X\beta}||^2 = {\underset \beta {\text{argmin}}} \sum_{i=1}^{n} ( y_i - x_{i}\beta)^2$

최대 가능성

위의 모델을 사용하여 매개 변수 주어진 데이터의 가능성을 다음과 같이 설정할 수 있습니다 . $\beta$

엘 (와이 | 엑스, β) = \prod_{나는 = 1}^{엔} 에프 ({와이}_{나는} | {엑스}_{나는}, β)

$L(Y|X,\beta) = \prod_{i=1}^{n} f(y_i|x_i,\beta)$

여기서 는 평균이 0이고 분산이 정규 분포의 pdf입니다 . 연결하기 : $f(y_i|x_i,\beta)$ $\sigma^2$

엘 (와이 | 엑스, β) = \prod_{나는 = 1}^{엔} \frac{1}{\sqrt{2 π σ^{2}}} {이자형}^{- \frac{({와이}_{나는} - {엑스}_{나는} β)^{2}}{2 σ^{2}}}

$L(Y|X,\beta) = \prod_{i=1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(y_i - x_i\beta)^2}{2\sigma^2}}$

이제 일반적으로 가능성을 다룰 때 계속하기 전에 수학적으로 로그를 가져가는 것이 더 쉽습니다 (제품이 합계가되고 지수가 사라짐). 그렇게하겠습니다.

로그 엘 (와이 | 엑스, β) = \sum_{나는 = 1}^{엔} 로그 (\frac{1}{\sqrt{2 π σ^{2}}}) - \frac{({와이}_{나는} - {엑스}_{나는} β)^{2}}{2 σ^{2}}

$\log L(Y|X,\beta) = \sum_{i=1}^{n} \log(\frac{1}{\sqrt{2\pi\sigma^2}}) -\frac{(y_i - x_i\beta)^2}{2\sigma^2}$

최대 우도 추정치를 원하므로 와 관련하여 위의 최대 방정식을 찾고 싶습니다 . 첫 번째 용어는 추정에 영향을 미치지 않으므로 무시할 수 있습니다. $\beta$ $\beta$

{\hat{β}}_{미디엄 엘 이자형} = \underset{β}{argmax} \sum_{나는 = 1}^{엔} - \frac{({와이}_{나는} - {엑스}_{나는} β)^{2}}{2 σ^{2}}

$\widehat{\beta}_{MLE} = {\underset \beta {\text{argmax}}} \sum_{i=1}^{n} -\frac{(y_i - x_i\beta)^2}{2\sigma^2}$

분모는 대한 상수입니다 . 마지막으로, 합계 앞에 음의 부호가 있습니다. 따라서 음수의 최대 값을 찾는 것은 음수가없는 최소값을 찾는 것과 같습니다. 다시 말해: $\beta$

{\hat{β}}_{미디엄 엘 이자형} = \underset{β}{아르 민} \sum_{나는 = 1}^{엔} ({와이}_{나는} - {엑스}_{나는} β)^{2} = {\hat{β}}_{엘 에스}

$\widehat{\beta}_{MLE} = {\underset \beta {\text{argmin}}} \sum_{i=1}^{n} (y_i - x_i\beta)^2 = \widehat{\beta}_{LS}$

이것이 작동하기 위해서는 특정 모델 가정 (에러 항의 정규성, 평균 0, 상수 분산)을 만들어야한다는 것을 상기하십시오. 특정 조건에서 최소 제곱은 MLE과 같습니다. 자세한 내용은 여기 와 여기 를 참조 하십시오 .

완전성을 위해 솔루션은 다음과 같이 작성할 수 있습니다.

β = ({엑스}^{티} 엑스)^{- 1} {엑스}^{티} 와이

${\bf \beta = (X^TX)^{-1}X^Ty}$

— 일란 만
소스