평균과 분산이 알려진 경우 이변 량 정규 데이터의 공분산에 대한 최대 우도 추정치는 무엇입니까?

평균이 0이고 분산이 1 인 이변 량 정규 분포의 랜덤 표본이 있으므로 알 수없는 유일한 매개 변수는 공분산입니다. 공분산의 MLE는 무엇입니까? 나는 그것이 같은 것을해야한다 알고 하지만 우리가 어떻게 알 수 있습니까? $\frac{1}{n} \sum_{j=1}^{n}x_j y_j$

— 스테이시
소스

우선, 우리가 실제로 0과 0이라는 것을 알 때 와 하여 평균을 추정하는 것이 조금 어렵다고 생각하지 않습니까?

\bar{x}

$\bar{x}$

\bar{y}

$\bar{y}$

— Wolfgang

매우 삼촌입니다. 여전히 어떻게 쉽게 따라갈 수 있는지 보지 못합니다. 샘플 차이와 유사하지만 왜 MLE입니까 (그렇지 않고 다른 실수를하지 않는 한)

— Stacy

당신이 삭제 한 ? 이 공식을 취한다고해서 및 를 평균 의 추정치로 간주하는 것은 아닙니다 .

\frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (y_{i} - \bar{y})

$\frac{1}{n}\sum_{i=1}^n(x_i-\bar x)(y_i - \bar y)$

\bar{x}

$\bar x$

\bar{y}

$\bar y$

— Stéphane Laurent

@ StéphaneLaurent 그렇습니다. 초기 포스트에서 공식은 여러분이 작성한대로 주어졌습니다.

— Wolfgang

상관 계수 추정값 (이변 량 표준 법선의 경우 공분산과 동일)

\tilde{r} = \frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}

$\tilde r = \frac 1n\sum_{i=1}^nx_iy_i$

샘플 공분산 인 모멘트 계산 방법입니다. 최대 우도 추정량 인 와 일치하는지 확인하십시오 . $\hat \rho$

상관 계수 를 갖는 이변 량 표준 법선의 접합 밀도 는 $\rho$

f (x, y) = \frac{1}{2 π \sqrt{1 - ρ^{2}}} \exp {- \frac{x^{2} + y^{2} - 2 ρ x y}{2 (1 - ρ^{2})}}

$f(x,y) = \frac{1}{2 \pi \sqrt{1-\rho^2}} \exp\left\{-\frac{x^2 +y^2 -2\rho xy}{2(1-\rho^2)}\right\}$

따라서 크기가 iid 샘플의 로그 우도 는 $n$

\ln L = - n \ln (2 π) - \frac{n}{2} \ln (1 - ρ^{2}) - \frac{1}{2 (1 - ρ^{2})} \sum_{i = 1}^{n} (x_{i}^{2} + y_{i}^{2} - 2 ρ x_{i} y_{i})

$\ln L = -n\ln(2\pi) -\frac n2\ln(1-\rho^2) - \frac 1{2(1-\rho^2)}\sum_{i=1}^n(x_i^2 +y_i^2 -2\rho x_iy_i)$

(여기서 iid 가정은 물론 2 차원 인구의 각 추첨에 관한 것입니다)

에 대해 미분 촬영 과가 0으로 설정하는 것은 3 차원도를 제공 다항식 : $\rho$ $\rho$

\hat{ρ} : n {\hat{ρ}}^{3} - (\sum_{i = 1}^{n} x_{i} y_{i}) {\hat{ρ}}^{2} - (1 - \frac{1}{n} \sum_{i = 1}^{n} (x_{i}^{2} + y_{i}^{2})) n \hat{ρ} - \sum_{i = 1}^{n} x_{i} y_{i} = 0

$\hat \rho: n\hat \rho^3 -\left(\sum_{i=1}^nx_iy_i\right)\hat\rho^2 -\left(1- \frac 1n\sum_{i=1}^n(x_i^2 +y_i^2) \right)n\hat \rho - \sum_{i=1}^nx_iy_i =0$

실제 계수 -it 에서 평가 된 미분의 기대 값을 0으로 하면 계산이 올바른지 확인할 수 있습니다 . $\rho$

간결하게하기 위해 . 이는 와 의 표본 분산의 합입니다 . 1 차 미분 표현을 나누면 MoM 추정기가 나타납니다. $(1/n)\sum_{i=1}^n(x_i^2 +y_i^2) = (1/n)S_2$ $X$ $Y$ $n$

\hat{ρ} : {\hat{ρ}}^{3} - \tilde{r} {\hat{ρ}}^{2} + [(1 / n) S_{2} - 1] \hat{ρ} - \tilde{r} = 0

$\hat \rho: \hat \rho^3 -\tilde r \hat \rho^2 + \big[(1/n)S_2-1\big]\hat \rho -\tilde r=0$

\Rightarrow \hat{ρ} ({\hat{ρ}}^{2} - \tilde{r} \hat{ρ} + [(1 / n) S_{2} - 1]) = \tilde{r}

$\Rightarrow \hat \rho\Big(\hat \rho^2 -\tilde r \hat \rho + \big[(1/n)S_2-1\big] \Big) = \tilde r$

대수학하고, 우리가 얻을 것이라고 결론 어려운 일이 아니다 경우에 한해, , 즉 샘플의 합이 같음을 편차를 너무 일이 발생하는 경우에만 있음 실제 분산의 합. 그래서 일반적으로 $\hat \rho = \tilde r$ $(1/n)S_2 =2$

\hat{ρ} \neq \tilde{r}

$\hat \rho \neq \tilde r$

여기서 어떻게됩니까? 누군가 현명하게 설명해 드리겠습니다. 시뮬레이션을 시도해 봅시다. 상관 계수 으로 두 표준 법선의 iid 샘플을 생성했습니다 . 샘플 크기는 이었다. 샘플 값은 $\rho=0.6$ $n=1.000$

\sum_{i = 1}^{n} x_{i} y_{i} = 522.05, S_{2} = 1913.28

$\sum_{i=1}^nx_iy_i = 522.05,\;\;S_2 = 1913.28$

동작 방법 추정기는

\tilde{r} = \frac{522.05}{1000} = 0.522

$\tilde r = \frac {522.05}{1000} = 0.522$

로그 우도는 어떻게됩니까? 시각적으로, 우리는

여기에 이미지 설명을 입력하십시오

숫자 적으로, 우리는

\begin{array}{rrr} ρ & 1st deriv & lnL \\ 0.5 & - 70.92 & - 783.65 \\ 0.51 & - 59.41 & - 782.47 \\ 0.52 & - 47.7 & - 781.48 \\ 0.53 & - 35.78 & - 780.68 \\ 0.54 & - 23.64 & - 780.1 \\ 0.55 & - 11.29 & - 779.75 \\ 0.56 & 1.29 & - 779.64 \\ 0.57 & 14.1 & - 779.81 \\ 0.58 & 27.15 & - 780.27 \\ 0.59 & 40.44 & - 781.05 \\ 0.6 & 53.98 & - 782.18 \end{array}

$\begin{array}{| r | r | r |} \hline \hline ρ&\text{1st deriv}&\text{lnL}\\ \hline 0.5&-70.92&-783.65\\ 0.51&-59.41&-782.47\\ 0.52&-47.7&-781.48\\ 0.53&-35.78&-780.68\\ 0.54&-23.64&-780.1\\ 0.55&-11.29&-779.75\\ 0.56&1.29&-779.64\\ 0.57&14.1&-779.81\\ 0.58&27.15&-780.27\\ 0.59&40.44&-781.05\\ 0.6&53.98&-782.18\\ \hline \end{array}$

그리고 로그 우도는 이전에 최대 tad를 가지며 여기서 1 차 도함수는 0이됩니다 . 의 값에 대해서는 놀라운 것이 없습니다. 또한 1 차 도함수에는 다른 뿌리가 없습니다. $\rho=0.56$ $(\hat \rho = 0.558985)$ $\rho$

따라서이 시뮬레이션은 최대 우도 추정기가 모멘트 추정기 (두 rv 사이의 표본 공분산)와 같지 않다는 결과와 일치합니다 .

그러나 "모두"는 누군가가 설명해야 한다고 말하고있는 것으로 보입니다 .

최신 정보

MLE가 동작 방법 추정기임을 증명하는 참고 문헌 : Anderson, TW, & Olkin, I. (1985). 다변량 정규 분포의 모수에 대한 최대 우도 추정. 선형 대수와 그 응용, 70, 147-171.
여기서 모든 평균과 분산이 다양하고 고정되어 있지 않다는 것이 중요합니까?

... 아마도 (지금 삭제 된) 답변에서 @guy의 의견에 따르면 주어진 평균 및 분산 매개 변수를 사용하면 이변 량 법선이 곡선 지수 패밀리 의 구성원이 되므로 일부 결과 및 속성이 변경됩니다. 두 결과를 조정할 수있는 유일한 방법 인 것 같습니다.

— 알레 코스 파파도풀로스
소스

이것은 조금 놀라운 일이지만 약간의 성찰 후에 예상됩니다. 모델에서 회귀 계수 를 추정하는 것으로 문제를 해석 할 수 있습니다. 여기서 . 이것은 선형 모델이 아니므로 MLE이 단순한 내적 일 것으로 기대할 이유가 없습니다. 우리가 만 알면 MLE는 이고 만 알면 라는 동일한 논리가 (제 생각에) 생각됩니다. . 우리가 둘 다 알지 못하면 MOM 견적서를 얻습니다.

ρ

$\rho$

Y = ρ X + ϵ

$Y = \rho X + \epsilon$

ϵ \sim N (0, {\sqrt{1 - ρ^{2}}}^{2})

$\epsilon \sim \mathcal N(0, \sqrt{1 - \rho^2}^2)$

Var (X)

$\mbox{Var}(X)$

x^{'} y / x^{'} x

$x'y / x'x$

x^{'} y / y^{'} y

$x'y / y'y$

Var (Y)

$\mbox{Var}(Y)$

— guy

@guy : 매우 흥미 롭습니다. 나는 이러한 주장이 약간 확장되면 완전히 별도의 답변으로 게시 할 가치가 있다고 생각합니다!

— amoeba

@guy 회귀 설정의 로그 우도에는 정사각형 포함되어 있기 때문에이 공식이 동등하지 않다고 생각합니다. . 부착 계수 이변 량 밀도 제제 내에 존재하지 않는다.

ϵ^{2} = (y - ρ x)^{2} = y^{2} - 2 ρ x y + ρ^{2} x^{2}

$\epsilon^2=(y-\rho x)^2 = y^2 -2\rho xy + \rho^2 x^2$

ρ^{2}

$\rho^2$

x^{2}

$x^2$

— Alecos Papadopoulos

내 생각 엔 입니다. 상상 및 ,이어서 추정치가 예상된다.

\frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (y_{i} - \bar{y})

$\frac{1}{n}\sum_{i=1}^n(x_i-\bar x)(y_i - \bar y)$

n = 2

$n=2$

y_{1} = y_{2}

$y_1=y_2$

0

$0$

— Stéphane Laurent

@AlecosPapadopoulos 2-2 . 용어 분모에 의해 취소되는 , 원래의 로그 우도의 기여가 있음 데이터로부터 만 용어이므로 . 그러나 이것은 잘 알려진 인수 분해 , . 용어 를 포함 때문에 다른 주장은 잘못 되었습니다.

x^{2} + y^{2} - 2 ρ x y = (1 - ρ^{2}) x^{2} + (y - ρ x)^{2}

$x^2 + y^2 - 2\rho x y = (1 - \rho^2) x^2 + (y - \rho x)^2$

(1 - ρ^{2}) x^{2}

$(1 - \rho^2) x^2$

(1 - ρ^{2})

$(1 - \rho^2)$

(y - ρ x)^{2} / (1 - ρ^{2})

$(y - \rho x)^2 / (1 - \rho^2)$

X \sim N (μ_{X}, σ_{X}^{2})

$X \sim N(\mu_X, \sigma^2_X)$

[Y | X] \sim N (μ_{Y} + ρ_{X} \frac{σ_{Y}}{σ_{X}} (X - μ_{X}), σ_{Y | X}^{2} {\sqrt{1 - ρ^{2}}}^{2})

$[Y|X] \sim N(\mu_Y + \rho_X \frac{\sigma_Y}{\sigma_X} (X - \mu_X), \sigma^2_{Y|X} \sqrt{1 - \rho^2}^2)$

σ_{Y} / σ_{X}

$\sigma_Y/\sigma_X$

— 남자

명시된 조건 ( 및 )에서 크기 의 랜덤 표본에 대한 우도 함수 는 $\mu_X = \mu_Y = 0$ $\sigma_X = \sigma_Y = 1$ $n$

L (ρ | X, Y) = \frac{1}{(2 π [1 - ρ^{2}])^{n / 2}} \exp [- \frac{1}{2 (1 - ρ^{2})} (X^{'} X - 2 ρ X^{'} Y + Y^{'} Y)] .

$L(\rho\; |\; X, Y) = \frac{1}{(2\pi[1-\rho^2])^{n/2}}\exp \left[-\frac{1}{2(1-\rho^2)}(X'X - 2\rho X'Y + Y'Y)\right].$

이제 로그 우도를 찾고 와 관련하여 미분을 취하십시오 . 그런 다음 해결하여 0으로 설정하십시오 . 물론 발견 한 것이 실제로는 최대 값임을 나타 내기 위해 적절한 테스트를 수행해야합니다. $\rho$ $\hat{\rho}$

— 데니스
소스