선형 회귀 : OLS와 MLE을 식별하는 비정규 분포가 있습니까?

13

이 질문은 주석의 오랜 토론에서 영감을 얻었습니다. 선형 회귀는 정규 분포를 어떻게 사용합니까?

일반적인 선형 회귀 모델에서, 단순화를 위해 여기에서 하나의 예측 작성 :

Y_{i} = β_{0} + β_{1} x_{i} + ϵ_{i}

$Y_i = \beta_0 + \beta_1 x_i + \epsilon_i$ 를 Where

x_{i}

$x_i$ 상수를 공지되어

ϵ_{i}

$\epsilon_i$ 제로 평균 독립 에러 조건이다. 또한 오차에 대한 정규 분포를 가정하면, 일반적으로 최소 제곱 추정기와

의 최대 우도 추정치

β_{0}, β_{1}

$\beta_0, \beta_1$ 는 동일합니다.

그래서 내 쉬운 질문 : 오류 용어에 대한 다른 분포가 존재하여 mle이 일반 최소 자승 추정기와 동일합니까? 하나의 의미는 보여주기 쉽고 다른 하나는 그렇지 않습니다.

— 크 제틸 비 할보 르센
소스

1

(+1) 0을 중심으로하는 분포 여야하고 대칭 분포 인 경우 도움이 될 것 같습니다. t- 또는 Laplace 분포와 같이 염두에 두는 일부 후보는 MLE가 일정한 경우에도 닫힌 형태로 제공되거나 중앙값으로 제공되지 않으므로 트릭을 수행하지 않는 것 같습니다.

— Christoph Hanck

또한 stats.stackexchange.com/questions/99014/…를 참조하십시오. 찾을 것이 너무 많은 것 같습니다

— Christoph Hanck

나는 대답이 아니오라고 확신한다. 그러나 엄격한 증거를 작성하기 어려울 수 있습니다.

— Gordon Smyth

11

최대 우도 추정에서

{\hat{β}}_{M L} : \sum \frac{\partial \ln f (ϵ_{i})}{\partial β} = 0 ⟹ \sum \frac{f^{'} (ϵ_{i})}{f (ϵ_{i})} x_{i} = 0

$\hat \beta_{ML}: \sum \frac {\partial \ln f(\epsilon_i)}{\partial \beta} = \mathbf 0 \implies \sum \frac {f'(\epsilon_i)}{f(\epsilon_i)}\mathbf x_i = \mathbf 0$

회귀 방정식의 선형성 구조를 고려한 마지막 관계.

이에 비해 OLS 추정기는 다음을 만족시킵니다.

\sum ϵ_{i} x_{i} = 0

$\sum \epsilon_i\mathbf x_i = \mathbf 0$

기울기 계수에 대해 동일한 대수적 표현을 얻으려면 오차 항에 대한 밀도를 가져야합니다.

\frac{f^{'} (ϵ_{i})}{f (ϵ_{i})} = \pm c ϵ_{i} ⟹ f^{'} (ϵ_{i}) = \pm c ϵ_{i} f (ϵ_{i})

$\frac {f'(\epsilon_i)}{f(\epsilon_i)} = \pm \;c\epsilon_i \implies f'(\epsilon_i)= \pm \;c\epsilon_if(\epsilon_i)$

이들은 형식의 미분 방정식입니다. 용액을 $y' = \pm\; xy$

\int \frac{1}{y} d y = \pm \int x d x ⟹ \ln y = \pm \frac{1}{2} x^{2}

$\int \frac 1 {y}dy = \pm \int x dx\implies \ln y = \pm\;\frac 12 x^2$

⟹ y = f (ϵ) = \exp {\pm \frac{1}{2} c ϵ^{2}}

$\implies y = f(\epsilon) = \exp\left \{\pm\;\frac 12 c\epsilon^2\right\}$

이 커널을 가지고 있고 적절한 도메인을 통일하기 위해 통합되는 모든 기능은 경사 계수에 대한 MLE과 OLS를 동일하게 만듭니다. 즉 우리는 찾고 있습니다

g (x) = A \exp {\pm \frac{1}{2} c x^{2}} : \int_{a}^{b} g (x) d x = 1

$g(x)= A\exp\left \{\pm\;\frac 12 cx^2\right\} : \int_a^b g(x)dx =1$

이러한 있는가 없는 정상 농도 (또는 반 정상 오차 함수의 도함수)? $g$

확실히. 그러나 한 가지 더 고려해야 할 것은 다음과 같습니다. 예를 들어 지수에서 더하기 기호를 사용하고 0과 같은 대칭 지원 을 사용하면 중간에서 고유 최소값 을 갖는 밀도를 얻을 수 있습니다. 지원의 경계.

— 알레 코스 파파도풀로스
소스

큰 대답 (+1)이지만 함수에 더하기 기호를 사용하면 밀도입니까? 그러면 함수가 무한 적분을 가지므로 밀도 함수로 정규화 할 수없는 것으로 보입니다. 이 경우 정규 분포 만 남습니다.

— 벤-복원 모니카

1

(a, b)

$(a,b)$

사실입니다-나는 그것을 가정했습니다.

— 벤-복원 모니카

5

\arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} (y_{i} - β_{0} - β_{1} x_{i})^{2}

$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$

f (y | x, β_{0}, β_{1})

$f(y|x,\beta_0,\beta_1)$

\arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} \log {f (y_{i} | x_{i}, β_{0}, β_{1})} = \arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} (y_{i} - β_{0} - β_{1} x_{i})^{2}

$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n \log\{f(y_i|x_i,\beta_0,\beta_1)\}=\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$

f (y | x, β_{0}, β_{1}) = f_{0} (y | x) \exp {- ω (y_{i} - β_{0} - β_{1} x_{i})^{2}}

$f(y|x,\beta_0,\beta_1)=f_0(y|x)\exp\{-\omega(y_i-\beta_0-\beta_1x_i)^2\}$

f_{0} (y | x)

$f_0(y|x)$

(β_{0}, β_{1})

$(\beta_0,\beta_1)$

두 추정값이 일치하는 또 다른 설정은 데이터가 구형 대칭 분포 에서 오는 경우, 즉 (벡터) 데이터 에 조건부 밀도 와 함께 감소하는 함수. (이 경우 의 독립성을 가정 하면 Normal 경우에만 OLS를 사용할 수 있습니다 .) $\mathbf{y}$

h (| | y - X β | |)

$h(||\mathbf{y}-\mathbf{X}\beta||)$

h (\cdot)

$h(\cdot)$

ϵ_{i}

$\epsilon_i$

— 시안
소스

1

이것은 나에게 맞지 않습니다. 다른 구면 대칭 분포를 사용하는 경우, 제곱과 다른 표준 함수를 최소화하지 않습니까 (따라서 최소 제곱 추정은 아님)?

— 벤-복원 모니카

1

@ Xi'an이 방금 답변으로 업데이트 될 때 까지이 질문에 대해 알지 못했습니다. 더 일반적인 해결책이 있습니다. Bregman 분기에 대한 일부 매개 변수 고정 수율을 갖는 지수 패밀리 분포. 이러한 분포의 경우 평균은 최소화입니다. OLS 최소화기도 평균입니다. 따라서 이러한 모든 분포에 대해 선형 함수가 평균 모수에 연결될 때 일치해야합니다.

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.75.6958&rep=rep1&type=pdf

— 카 다스 오즈 겐크
소스