조건부 이분산성을 갖는 선형 모델의 추론

독립 변수 벡터 및 및 종속 변수 관찰한다고 가정 해 봅시다 . I는 형태의 모델에 맞게하고자 : 여기서 는 양의 값을 두 배로 구분할 수있는 함수이고, 는 알 수없는 스케일링 매개 변수이며, 은 평균이 0 인 단위 분산 가우스 랜덤 변수입니다 ( 독립적 인 것으로 가정) 및 ). 이것은 본질적으로 Koenker의 이분산성 테스트 설정입니다 (적어도 내가 이해하는 한). $\vec{x}$ $\vec{z}$ $y$

와이 = {\vec{엑스}}^{⊤} \vec{β_{1}} + σ 지 ({\vec{지}}^{⊤} \vec{β_{2}}) ϵ,

$y = \vec{x}^{\top}\vec{\beta_1} + \sigma g\left(\vec{z}^{\top} \vec{\beta_2}\right) \epsilon,$

g

$g$

σ

$\sigma$

ϵ

$\epsilon$

\vec{x}

$\vec{x}$

\vec{z}

$\vec{z}$

I는이 의 관측 및 , 및 I를 추정하고자 과 . 그래도 몇 가지 문제가 있습니다. $n$ $\vec{x}, \vec{z}$ $y$ $\vec{\beta_1}$ $\vec{\beta_2}$

추정 문제를 최소 제곱과 같은 방법으로 잘 모르겠습니다 (잘 알려진 트릭이 있다고 가정합니다). 내 첫 번째 추측은 그러나 그것을 수치 적으로 해결하는 방법을 잘 모르겠습니다 (아마도 반복적 인 준 뉴턴 방법이 할 수도 있습니다). $미디엄 나는 엔_{\vec{β_{1}}, \vec{β_{2}}} (\sum_{나는 = 1}^{엔} \frac{{({와이}_{나는} - {\vec{{엑스}_{나는}}}^{⊤} \vec{β_{1}})}^{2}}{지 {({\vec{지_{나는}}}^{⊤} \vec{β_{2}})}^{2}}) {(\sum_{나는 = 1}^{엔} \frac{1}{지 {({\vec{지_{나는}}}^{⊤} \vec{β_{2}})}^{2}})}^{- 1},$ $min_{\vec{\beta_1}, \vec{\beta_2}} \left(\sum_{i=1}^n \frac{\left(y_i - \vec{x_i}^{\top}\vec{\beta_1}\right)^2}{g\left(\vec{z_i}^{\top}\vec{\beta_2}\right)^2}\right)\left(\sum_{i=1}^n \frac{1}{g\left(\vec{z_i}^{\top}\vec{\beta_2}\right)^2}\right)^{-1},$
나는 제정신 방식에 문제를 제기하고 일부 추정 찾을 수 있습니다 가정 있도록, 나는 추정치의 분포를 알고 싶습니다 예를 들어, 나는 가설 테스트를 수행 할 수 있습니다. 두 계수 벡터를 개별적으로 테스트하는 것은 좋지만 과 같은 테스트 방법을 선호합니다 주어진위한 . $\hat{\beta}_1, \hat{\beta}_2$ $H_0: \vec{w_1}^{\top} \vec{\beta_1} + \vec{w_2}^{\top} \vec{\beta_2} \le c$ $\vec{w_1}, \vec{w_2}, c$

— 초라한 요리사
소스

좋은 질문. 당신은 무엇에 대한 아이디어가 있습니까

g

$g$ 처럼 보인다? 부드럽습니까? 그것은 점프했다? 대신 최소한의 광장이 최대 가능성을 tryed가 (이 종이 알고 projecteuclid.org/...을 ?)

— 로빈 지라

@robin girard : MLE는 질문 1에 대한 좋은 아이디어입니다. 가우시안 오류의 경우 MLE이 임시 최소화 와 동일한 추정치를 제공 할 것으로 생각됩니다 . 에 관해서

g

$g$ 내가 언급했듯이, 우리는 그것이 양의 가치를 가지고 있고 두 배로 나눌 수 있다고 가정 할 수 있습니다. 아마도 볼록한 것으로 생각할 수도 있고 분석적인 것으로 생각할 수도 있습니다.

— shabbychef

약간 더 일반적인 맥락에서 $Y$ 과 $n$ 의 차원 벡터 $y$ 관찰 (응답 또는 종속 변수) $X$ 과 $n \times p$ 매트릭스 $x$ 관측 (공변량 또는 종속 변수) $\theta = (\beta_1, \beta_2, \sigma)$ 그런 매개 변수 $Y \sim N(X\beta_1, \Sigma(\beta_2, \sigma))$ 마이너스 로그 우도는

l (β_{1}, β_{2}, σ) = \frac{1}{2} (Y - X β_{1})^{T} Σ (β_{2}, σ)^{- 1} (Y - X β_{1}) + \frac{1}{2} \log | Σ (β_{2}, σ) |

$l(\beta_1, \beta_2, \sigma) = \frac{1}{2}(Y-X\beta_1)^T \Sigma(\beta_2, \sigma)^{-1} (Y-X\beta_1) + \frac{1}{2}\log |\Sigma(\beta_2, \sigma)|$ OP의 질문에서

Σ (β_{2}, σ)

$\Sigma(\beta_2, \sigma)$ 와 대각선

Σ (β_{2}, σ)_{i i} = σ^{2} g (z_{i}^{T} β_{2})^{2}

$\Sigma(\beta_2, \sigma)_{ii} = \sigma^2 g(z_i^T \beta_2)^2$ 그래서 결정자는

σ^{2 n} \prod_{i = 1}^{n} g (z_{i}^{T} β_{2})^{2}

$\sigma^{2n} \prod_{i=1}^n g(z_i^T \beta_2)^2$ 그 결과 마이너스 로그 우도는

\frac{1}{2 σ^{2}} \sum_{i = 1}^{n} \frac{(y_{i} - x_{i}^{T} β_{1})^{2}}{g (z_{i}^{T} β_{2})^{2}} + n \log σ + \sum_{i = 1}^{n} \log g (z_{i}^{T} β_{2})

$\frac{1}{2\sigma^2} \sum_{i=1}^n \frac{(y_i-x_i^T\beta_1)^2}{ g(z_i^T \beta_2)^2} + n \log \sigma + \sum_{i=1}^n \log g(z_i^T \beta_2)$ 이 기능을 최소화하는 데는 몇 가지 방법이 있습니다 (세 개의 매개 변수가 변이와 무관하다고 가정).

제약 조건을 기억하는 표준 최적화 알고리즘으로 함수를 최소화하려고 할 수 있습니다. $\sigma > 0$ .
마이너스-로그 우도의 프로파일을 계산할 수 있습니다. $(\beta_1, \beta_2)$ 를 최소화함으로써 $\sigma$ 고정 용 $(\beta_1, \beta_2)$ 그런 다음 결과 함수를 제한없는 표준 최적화 알고리즘에 연결합니다.
세 가지 매개 변수 각각에 대해 개별적으로 최적화하는 방법을 번갈아 사용할 수 있습니다. 이상 최적화 $\sigma$ 분석적으로 수행 할 수 있습니다. $\beta_1$ 가중 최소 제곱 회귀 문제이며 최적화 $\beta_2$ 감마 일반화 선형 모형을 피팅하는 것과 같습니다. $g^2$ 역 링크.

마지막 제안은 내가 이미 잘 알고있는 솔루션을 기반으로하기 때문에 나에게 호소력이 있습니다. 또한 첫 번째 반복은 어쨌든 내가 고려할 것입니다. 즉, 먼저 초기 추정치를 계산하십시오. $\beta_1$ 잠재적 인 이분산성을 무시하고 보통 최소 제곱을 구한 다음 감마 glm을 제곱 잔차에 피팅하여 $\beta_2$ $-$ 더 복잡한 모델이 가치가 있는지 확인하십시오. 가중치에 따라 이분산성을 최소 제곱 솔루션에 통합하는 반복은 추정에 따라 개선 될 수 있습니다.

질문의 두 번째 부분과 관련하여 아마도 선형 조합에 대한 신뢰 구간 계산을 고려할 것입니다. $w_1^T\beta_1 + w_2^T\beta_2$ 표준 MLE 무증상을 사용하거나 (무증상이 작동하는 시뮬레이션으로 확인) 부트 스트랩을 사용합니다.

편집 : 으로 표준 MLE의 점근 I는 공분산 행렬 피셔 정보와 역 MLE의 분포에 근사 다변량 정규를 사용 뜻. Fisher 정보는 정의에 따라 기울기의 공분산 행렬입니다. $l$ . 일반적으로 매개 변수에 따라 다릅니다. 이 수량에 대한 분석 표현식을 찾을 수 있으면 MLE을 연결해보십시오. 대안으로, 관측 된 Fisher 정보, 즉 Hessian에 의해 Fisher 정보를 추정 할 수 있습니다. $l$ MLE에서. 관심있는 매개 변수는 두 매개 변수의 선형 조합입니다. $\beta$ -vectors, 따라서 MLE의 근사 다변량 법선에서 여기에 설명 된 추정량 분포의 정규 근사값을 찾을 수 있습니다 . 이는 대략적인 표준 오차를 제공하며 신뢰 구간을 계산할 수 있습니다. 그것은 많은 (수학적) 통계 책에 잘 설명되어 있지만, 내가 추천 할 수있는 합리적인 접근 방식은 Yudi Pawitan의 In All Likelihood 입니다. 어쨌든, 점근 론 이론의 공식적인 도출은 상당히 복잡하고 많은 규칙 성 조건에 의존하며, 유효한 점근선 만 제공합니다.분포. 따라서 의심 스러우면 항상 새 모델로 시뮬레이션을 수행하여 실제 매개 변수 및 샘플 크기에 대한 결과를 신뢰할 수 있는지 확인합니다. 트리플을 샘플링하는 간단한 비모수 부트 스트랩 $(y_i,x_i,z_i)$ 피팅 절차가 너무 시간 소모적이지 않은 경우 교체 된 관측 데이터 세트에서 유용한 대안이 될 수 있습니다.

— NRH
소스

무엇 있습니다 표준 MLE의 근성은?

— shabbychef

@ shabbychef, 늦었어요. 나는 더 자세한 설명을했다. 설명 된대로 증상이 이론적으로 작동하려면 모델이 정확해야하고 추정기는 MLE이어야합니다. 보다 일반적인 결과는 일반적인 추정 함수와 추정 방정식의 프레임 워크에서 얻을 수 있습니다 (예 : Quay -likelihood and ... by Heyde).

— NRH