다변량 선형 회귀 분석 vs. 여러 일 변량 회귀 분석 모델

일 변량 회귀 설정에서 모형화를 시도합니다

여기서 은 n 개의 관측치로 구성된 벡터 이고 X ∈ R n × m 은 m 개의 예측 변수가 있는 설계 행렬입니다 . 용액은 β 0 = ( X T X ) - (1) X , Y .$y \in \mathbb{R}^n$$n$$X \in \mathbb{R}^{n \times m}$$m$$\beta_0 = (X^TX)^{-1}Xy$

다변량 회귀 설정에서 모형화를 시도합니다

여기서 는 n 개의 관측치와 p 개의 다른 잠재 변수 의 행렬입니다 . 용액은 β 0 = ( X T X ) - 1 X Y .$y \in \mathbb{R}^{n \times p}$$n$$p$$\beta_0 = (X^TX)^{-1}XY$

내 질문은 가지 일 변량 선형 회귀를 수행하는 것과 어떻게 다른 가요? 본인은 여기 후자의 경우에 우리는 종속 변수 사이의 고려의 상관 관계를 고려,하지만 난 수학에서 표시되지 않는다.$p$

고전 다변량 선형 회귀 설정에서는 다음과 같은 모델이 있습니다.

여기서 는 독립 변수를 나타내고 Y 는 다중 응답 변수를 나타내며 ϵ 는 iid Gaussian 노이즈 항입니다. 잡음의 평균은 0이며 반응 변수간에 상관 될 수 있습니다. 가중치에 대한 최대 우도 솔루션은 노이즈 제곱에 관계없이 최소 제곱 솔루션과 같습니다 [1] [2] :$X$$Y$$\epsilon$

이는 각 반응 변수에 대해 개별 회귀 문제를 독립적으로 해결하는 것과 같습니다. 이는 사실로부터 알 수있는 의 열째 β (대한 가중치를 포함하는 I 번째 출력 변수) 곱한 수 ( X T X ) - 1 X T 바이 I 의 열째 Y를 값을 (포함 I 번째 응답 변수).$i$$\hat{\beta}$$i$$(X^T X)^{-1} X^T$$i$$Y$$i$

그러나 다변량 선형 회귀는 통계적 추론 절차가 다중 반응 변수 사이의 상관 관계를 설명하기 때문에 개별 회귀 문제를 개별적으로 해결하는 것과 다릅니다 (예 : [2], [3], [4] 참조). 예를 들어 노이즈 공분산 행렬은 샘플링 분포, 테스트 통계 및 구간 추정치에 나타납니다.

각 반응 변수에 고유 한 공변량 세트를 허용하면 또 다른 차이점이 나타납니다.

여기서 는 i 번째 응답 변수를 나타내고, X i 및 ϵ i 는 해당 공변량 세트와 노이즈 항을 나타냅니다. 위와 같이 노이즈 항은 응답 변수간에 상관 될 수 있습니다. 이 설정에는 최소 제곱보다 효율적인 추정기가 있으며 각 반응 변수에 대한 개별 회귀 문제를 해결하는 것으로 줄일 수 없습니다. 예를 들어 [1]을 참조하십시오.$Y_i$$i$$X_i$$\epsilon_i$

참고 문헌

1. 젤너 (1962) . 관련이없는 것처럼 보이는 회귀를 추정하고 집계 편향을 테스트하는 효율적인 방법입니다.
2. Helwig (2017) . 다변량 선형 회귀 [슬라이드]
3. 폭스와 바이스 버그 (2011) . R의 다변량 선형 모형. [부록 : 적용 회귀에 대한 R 동반자]
4. 마이 트라 (2013) . 다변량 선형 회귀 모형. [슬라이드]