오차가 정규 분포를 따르지 않는 경우 최소 제곱 법과 최대 가능성 회귀 분석법이 다른 이유는 무엇입니까?

제목은 모든 것을 말합니다. 최소 오차와 최대 확률은 모형의 오차가 정규 분포를 따르는 경우 회귀 계수에 대해 동일한 결과를 제공한다는 것을 이해합니다. 그러나 오류가 정상적으로 분포되지 않으면 어떻게됩니까? 두 방법이 더 이상 동일하지 않은 이유는 무엇입니까?

짧은 대답

다변량 가우시안 확률 밀도 분포 변수 $x=(x_1, x_2,...,x_n)$ , 평균, $\mu=(\mu_1,\mu_2,...,\mu_n)$ 의 제곱에 관련 평균과 변수 사이의 유클리드 거리 ( $\vert \mu-x \vert_2^2$ ), 즉 제곱의 합.

---

긴 답변

동일한 편차를 가정하는 $n$ 오차에 대해 여러 가우스 분포를 곱하면 제곱합이됩니다.

$$\begin{array} \mathcal{L(\mu_j,x_{ij})} = P(x_{ij} \vert \mu_j) & =\prod_{i=1}^n \frac{1}{\sqrt{2 \pi \sigma^2}} exp\left[-\frac{(x_{ij}-\mu_i)^2}{2\sigma^2}\right] \\ &= \left(\frac{1}{\sqrt{2 \pi \sigma^2}} \right)^n exp \left[ -\frac{\sum_{i=1}^n(x_{ij}-\mu_i)^2}{2\sigma^2}\right] \end{array}$$

또는 편리한 로그 형태로 :

$$\log\left(\mathcal{L(\mu_j,x_{ij})} \right) = n \log \left( \frac{1}{\sqrt{2 \pi \sigma^2}} \right) -\frac{1}{2\sigma^2} \sum_{i=1}^n(x_{ij}-\mu_j)^2$$

따라서 , 제곱의 합을 최소화하기 위해 $\mu$ 를 최적화 하는 것은 (log) 가능성을 최대화하는 것과 같습니다 (즉, 다중 가우시안 분포 또는 다변량 가우시안 분포의 곱).

다른 분포에는없는 e x p [ ( x i - μ ) 2 ]의 지수 구조 내 에서이 중첩 된 제곱 차 $(\mu-x)$ 입니다.$exp\left[ (x_i-\mu)^2 \right]$

---

예를 들어 포아송 분포의 경우와 비교

$$\log(\mathcal{L}) = \log \left( \prod\frac{\mu_j^{x_{ij}}}{x_{ij}!} exp \left[ -\mu_j \right] \right) = -\sum \mu_j -\sum log(x_{ij}!) + \sum log(\mu_j) x_{ij}$$

다음을 최소화하면 최대 값을 갖습니다.

$$\sum \mu_j -log(\mu_j) x_{ij}$$

다른 짐승입니다.

---

또한 (역사)

정규 분포의 이력 (deMoivre가이 분포에 대한 근사치로이 분포에 도달하는 것을 무시 함)은 실제로 MLE을 최소 제곱 법 (메소드 인 최소 제곱 법이 아닌)에 대응시키는 분포의 발견과 같습니다. 정규 분포의 MLE을 표현할 수 있고, 먼저 최소 제곱 법이, 두 번째는 가우시안 분포입니다.

$e^{-x^2}$

찰스 헨리 데이비스 (Charles Henry Davis)의 번역 (원뿔 부분에서 태양을 중심으로 움직이는 천체의 운동 이론. 부록이있는 가우스의 "이론적 해부"번역) ...

가우스는 다음을 정의합니다.

$\Delta$$\Delta$$\psi \Delta$

^{(나에 의해 이탤릭체 화)}

그리고 계속한다 ( 177 pp. 258 ) :

$\frac{\psi^\prime\Delta}{\Delta}$$k$

$$\text{log } \psi \Delta = \frac{1}{2} k \Delta \Delta + \text{Constant}$$ $$\psi \Delta = x e^{\frac{1}{2}k \Delta \Delta}$$ $e$ $$\text{Constant} = \log x$$

$k<0$

$$\psi \Delta = \frac{h}{\sqrt{\pi}} e^{-hh\Delta \Delta}$$

---

StackExchangeStrike에 의해 작성

MLE는 정규 분포가 잔존한다는 ​​가정에서 비롯된 것입니다.

참고

$$\text{min}_\beta~~ \|X \beta - y \|^2$$

$\beta$

확률과 가능성의 개념이 나오는 곳은

$$y=X\beta + \epsilon$$

$y$$\epsilon$

최소 제곱과 최대 (가우시안) 가능성 적합은 항상 같습니다. 즉, 동일한 계수 세트로 최소화됩니다.

오차에 대한 가정을 변경하면 우도 함수가 변경되므로 (모델의 우도는 오류 항의 우도를 최대화하는 것과 같습니다) 따라서 동일한 계수 세트로 함수가 더 이상 최소화되지 않습니다.

실제로 두 개는 동일하지만 이론적으로 다른 가능성을 최대화하면 최소 제곱과 다른 답변을 얻을 수 있습니다.

구체적인 예 : 간단한 오류 함수 p (1) =. 9, p (-9) = .10을 가정합니다. 우리가 두 점을 취하면 LS는 그 점을 통과 할 것입니다. 반면에 ML은 두 지점이 모두 한 단위가 너무 높다고 가정하므로 단위에서 아래로 이동 한 지점을 통해 선을 그립니다.