전체 열 순위 미만의 제한된 최대 가능성

이 질문은 선형 버전의 특정 버전에서 제한된 최대 가능성 (REML) 추정을 다룹니다.

Y = X (α) β + ϵ, ϵ \sim N_{n} (0, Σ (α)),

$Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)),$

여기서, 인 ( )에 의해 매개 변수화 행렬 , 그대로 . 는 알려지지 않은 방해 파라미터 벡터이며; 추정에 관심이 있으며 입니다. 최대한의 가능성으로 모델을 추정하는 것은 문제가 없지만 REML을 사용하고 싶습니다. 예를 들어 LaMotte를 참조 하면, 가능성 이며, 여기서 는 다음과 같은 반 직교 행렬이다. $X(\alpha)$ $n \times p$ $\alpha \in \mathbb R^k$ $\Sigma(\alpha)$ $\beta$ $\alpha$ $k\leq p\ll n$ $A'Y$ $A$ $A'X=0$ 쓸 수있다

L_{REML} (α ∣ Y) \propto | X^{'} X |^{1 / 2} | Σ |^{- 1 / 2} | X^{'} Σ^{- 1} X |^{- 1 / 2} \exp {- \frac{1}{2} r^{'} Σ^{- 1} r}, r = (I - X (X^{'} Σ^{- 1} X)^{+} X^{'} Σ^{- 1}) Y,

$L_{\text{REML}}(\alpha\mid Y) \propto\vert X'X\vert^{1/2} \vert \Sigma\vert^{-1/2}\vert X'\Sigma^{-1}X\vert^{-1/2}\exp\left\{-\frac{1}{2} r'\Sigma^{-1}r \right\}, \\ r = (I - X(X'\Sigma^{-1}X)^+X'\Sigma^{-1})Y,$

때 전체 열 순위입니다 $X$ .

내 문제는 완벽하고 합리적이며 과학적으로 흥미로운 행렬 가 전체 열 순위가 아니라는 것입니다. 내가 차종 위의 제한된 가능성의 본 모든 유도가 적용되지 않습니다 결정 등식으로 사용하는 경우 , 즉 전체 열 순위를 가정합니다. $\alpha$ $X(\alpha)$ $\vert X'X\vert=0$ $X$ 합니다. 즉, 위의 제한된 가능성은 매개 변수 공간의 일부에 대한 설정에만 적합하므로 최적화하려는 것이 아닙니다.

질문 : 가 전체 열 순위 라고 가정하지 않고 통계 문헌이나 다른 곳에서 파생 된보다 일반적인 제한 가능성이 있습니까? 그렇다면 어떤 모습입니까? $X$

일부 관찰 :

지수 부분을 도출하는 것은 아무런 문제가 없으며 위와 같이 무어-펜로즈 역으로 작성 될 수 있습니다 $X(\alpha)$
의 컬럼 위한 (임의) 정규직 교 기저이다 $A$ $C(X)^\bot$
알려진 경우 의 가능성은 모든 대해 쉽게 기록 될 수 있지만 물론 의 기본 벡터, 즉 열의 수 는 의 열 순위에 따라 다릅니다. $A$ $A'Y$ $\alpha$ $A$ $X$

이 질문에 관심이있는 사람의 정확한 파라미터 믿는다면 도움이 될 것이다 알려 나는 그들을 쓸 것이다. 이 시점에서 저는 대부분 정확한 치수 의 일반 에 대한 REML에 관심이 있습니다. $X,\Sigma$ $X$

모델에 대한 자세한 설명은 다음과 같습니다. 하자 수 차원 일차 벡터 자기 회귀 [VAR (1)] 여기서, . 시간 에서 고정 값 에서 프로세스가 시작되었다고 가정하십시오 . $y_t = \mu + Ay_{t - 1} + v_t, t = 1, \dots, T$ $r$ $v_t \overset{iid}{\sim}N(0, \Omega)$ $y_0$ $t = 0$

정의하십시오 . 모델은 다음 정의 및 표기법을 사용하여 선형 모델 형태 로 작성 될 수 있습니다 . $Y = [y_1', \dots, y_T']'$ $Y = X\beta + \varepsilon$

\begin{aligned} X & = [1_{T} \otimes I_{r}, C^{- 1} B] \\ β & = [μ^{'}, y_{0}^{'} - μ^{'}]^{'} \\ v a r (ε)^{- 1} & = C^{'} (I_{T} \otimes Ω^{- 1}) C \\ C & = [\begin{matrix} I_{r} & 0 & 0 & \dots \\ - A & I_{r} & 0 & \dots \\ 0 & - A & I_{r} & \dots \\ ⋮ & ⋮ & ⋮ & ⋱ \end{matrix}] \\ B & = e_{1, T} \otimes A, \end{aligned}

$\begin{align} X &= [1_T \otimes I_r, C^{-1}B] \\ \beta &= [\mu', y_0' - \mu']' \\ \mathrm{var}(\varepsilon)^{-1} &= C'(I_T \otimes \Omega^{-1})C \\ C &= \begin{bmatrix} I_r & 0 & 0 & \cdots \\ -A & I_r & 0 & \cdots \\ 0 & -A & I_r & \cdots \\ \vdots & \vdots & \vdots & \ddots \end{bmatrix} \\ B &= e_{1, T} \otimes A, \end{align}$

여기서, 이고 사람과의 차원 벡터 의 첫번째 표준 기저 벡터 . $1_T$ $T-$ $e_{1,T}$ $\mathbb R^T$

나타냅니다 . 가 전체 순위가 아닌 경우 는 전체 열 순위가 아닙니다. 예를 들어, 의 성분 중 하나가 과거에 의존하지 않는 경우가 포함됩니다. $\alpha = \mathrm{vec}(A)$ $A$ $X(\alpha)$ $y_t$

REML을 사용하여 VAR을 추정하는 아이디어는 예를 들어 예측 회귀 문헌 (예를 들어 Phillips 및 Chen 및 그 참고 문헌 참조)에 잘 알려져 있다.

행렬 는 일반적인 의미에서 디자인 행렬이 아니며, 모델에서 벗어나고 에 대한 사전 지식 이없는 한 명확하게하는 것이 좋습니다 $X$ $A$ 이 없으면 매개 변수화 할 수있는 방법이 없습니다. 그것은 전체 순위입니다.

수학 질문에 대한 답변 이이 질문에 대답 할 가능성을 도출하는 데 도움이 될 수 있다는 의미에서 this와 관련된 math.stackexchange에 질문을 게시했습니다 .

— ekvall
소스

모델 매트릭스가 전체 열 순위가 아닌 경우 선형 혼합 모델에서는 어떻게됩니까?

— Greenparker

현상금 @ Greenparker 주셔서 감사합니다. 그렇습니다. 전체 컬럼 순위 미만의 고정 효과 설계 행렬을 사용하여 선형 혼합 모형에 대해 제한된 가능성을 기록 할 수 있다면 도움이 될 것입니다.

— ekvall

지수 부분을 도출하는 것은 X (α) X (α)에 문제가되지 않으며 위와 같이 무어-펜로즈 역으로 작성 될 수 있습니다

나는이 관찰이 옳다는 것을 의심한다. 일반화 역은 실제로 추정치에 추가 선형 제한을 적용합니다 [Rao & Mitra]. 따라서 "Moore-Penrose 역은 지수 부분에 대해 작용할 것"을 추측하는 대신 공동 가능성을 전체적으로 고려해야합니다. 이것은 공식적으로 올바른 것처럼 보이지만 혼합 모델을 올바르게 이해하지 못할 수도 있습니다.

(1) 혼합 효과 모델을 올바르게 생각하는 방법? $\blacksquare$

g-inverse (OR Moore-Penrose inverse, 즉 반사성 g-inverse [Rao & Mitra])를 RMLE (Restricted 최대 우도 추정치 (아래와 동일).

X = (\begin{array}{cc} f i x e d e f f e c t \\ r a n d o m e f f e c t \end{array})

$\boldsymbol{X}=\left(\begin{array}{cc} fixed\quad effect\\ & random\quad effect \end{array}\right)$

혼합 효과를 생각하는 일반적인 방법은 설계 행렬의 랜덤 효과 부분이 측정 오차에 의해 도입된다는 것인데, 이는 추정보다는 예측에 더 관심이 있다면 또 다른 이름 인 "stochastic predictor"를 나타냅니다. 이것은 통계 설정에서 확률 론적 매트릭스 연구의 역사적 동기 중 하나입니다.

내 문제는 완벽하고 합리적이고 과학적으로 흥미로운 αα 행렬 X (α) X (α)가 전체 열 순위가 아니라는 것입니다.

이러한 가능성을 생각할 때 가 전체 순위가 아닐 확률 은 0입니다. 행렬의 항목에서 결정 함수가 연속적이고 정규 분포는 단일 점에 0의 확률을 할당하는 연속 분포이기 때문입니다. 불량 순위 의 확률은 와 같은 병리학 적 방식으로 매개 변수화 한 경우 양수입니다. $X(\alpha)$ $X(\alpha)$ . $\left(\begin{array}{ccc} \alpha & \alpha\\ \alpha & \alpha\\ & & random\quad effect \end{array}\right)$

따라서 귀하의 질문에 대한 해결책은 다소 간단합니다. 설계 행렬 교란시키고 (고정 효과 부분 만 교란) 교란 행렬을 사용하십시오. 모든 파생물을 수행합니다. 모델에 복잡한 계층 구조가 있거나 자체가 특이점에 가까운 경우를 제외 하고는 결정 함수가 연속적이고 결정 함수 내부에서 한계를 가질 수 있기 때문에 최종 결과에서 을 취할 때 심각한 문제가 발생하지 않습니다 . $X_\epsilon(\alpha)=X(\alpha)+\epsilon\left(\begin{array}{cc} I & 0\\ 0 & 0 \end{array}\right)$ $X$ $\epsilon\rightarrow 0$ . 그리고 교란에서의 역 형성 셔먼 Morrision-우드 베리 정리함으로써 얻어 질 수있다. 그리고 행렬의 결정자는[Horn & Johnson]과 같은 표준 선형 대수 서적에 제공됩니다. 물론 우리는 행렬의 각 항목의 관점에서 결정자를 쓸 수 있지만 섭동은 항상 선호됩니다 [Horn & Johnson]. $lim_{\epsilon\rightarrow 0}|X_\epsilon|=|lim_{\epsilon\rightarrow 0}X_\epsilon|$ $X_\epsilon$ $I+X$

(2) 모델에서 방해 요소를 어떻게 다루어야합니까? $\blacksquare$

보시다시피, 모델의 랜덤 효과 부분을 처리하려면이를 "불량 매개 변수"로 간주해야합니다. 문제는 RMLE가 방해 요소를 제거하는 가장 적절한 방법입니까? GLM 및 혼합 효과 모델에서도 RMLE이 유일한 선택은 아닙니다. [Basu]는 추정 설정에서 파라미터를 제거하는 다른 많은 방법을 지적했다. 오늘날 사람들은 두 가지 인기있는 컴퓨터 기반 솔루션 인 EM과 MCMC에 각각 대응하기 때문에 RMLE과 Bayesian 모델링 중에서 선택하는 경향이 있습니다.

제 생각에는 고정 효과 부분에서 불량 순위의 상황에서 사전을 도입하는 것이 확실히 더 적합합니다. 또는 모델을 전체 순위 모델로 만들기 위해 모델을 다시 매개 변수화 할 수 있습니다.

또한 고정 효과가 전체 순위가 아닌 경우 고정 효과의 자유도가 오류 부분으로 들어가야하기 때문에 잘못 지정된 공분산 구조를 걱정할 수 있습니다. 더 명확하게이 점을 확인하려면, 당신은 GLS의 MLE (도 LSE) (일반 최소한의 고려할 수 있습니다 의 공분산 구조 가 전체 순위가 아닌 경우 오류 항 . $\hat{\beta}=(X\Sigma^{-1} X')^{-1}\Sigma^{-1}y$ $\Sigma$ $X(\alpha)$

(3) 추가 의견 $\blacksquare$

문제는 매트릭스의 고정 효과 부분이 전체 순위가 아닌 경우 RMLE가 작동하도록 수정하는 방법이 아닙니다. 문제는이 경우 전체 순위가 아닌 경우에 양의 확률이있는 경우 모델 자체에 문제가있을 수 있다는 것입니다.

내가 직면 한 한 가지 관련 사례는 공간적 사례에서 사람들이 계산 고려로 인해 고정 효과 부분의 순위를 줄이고 싶을 수 있다는 것이다 [Wikle].

이러한 상황에서 "과학적으로 흥미로운"사례를 보지 못했습니다. 전체 순위가 아닌 사례가 주요 관심사 인 문헌을 지적 할 수 있습니까? 감사하고 더 깊이 알고 싶습니다.

참조 $\blacksquare$

[Rao & Mitra] Rao, Calyampudi Radhakrishna 및 Sujit Kumar Mitra. 행렬과 그 적용에 대한 일반화 된 역. Vol. 7. 뉴욕 : 1971 년 Wiley.

[Basu] 바스, 데바 브라 타. "불필요한 매개 변수 제거에." 미국 통계 협회 저널 72.358 (1977) : 355-366.

[Horn & Johnson] Horn, Roger A. 및 Charles R. Johnson. 매트릭스 분석. 2012 년 케임브리지 대학 출판부.

Wickle, Christopher K. "공간 프로세스에 대한 저급 표현" 공간 통계 핸드북 (2010) : 107-118.

— Henry.L
소스

관심을 가져 주셔서 감사합니다. 답변을 통해 + 1, 노력하십시오. 좀 더 자세하게 읽고 설명을 다시하겠습니다. 내가 명확히해야 할 첫 번째 일은이 모델에 임의의 효과가 없으며 행렬

는 아마도 더 나은 단어가없는 fr이라는 이름을 제외하고는 디자인 행렬이 아니라는 것입니다. 그것은 벡터 자기 회귀 과정에서 계수 행렬의 (벡터화)로 구성된 매개 변수

의 비선형 함수 (결정 론적) 이므로 낮은 순위의 확률 개념은 의미가 없습니다.

X

$X$

α

$\alpha$

— ekvall

@ Student001 예, 혼합 모델이 아니라 GLM처럼 느껴지기 때문에 자유롭게 설명하십시오. 가능하다면 다시 답변을 드리겠습니다 :)

— Henry.L

@ Student001 가능하다면 전체 모델을 작성하고 공간 설정에서 AR (1) 같은 경우를 연구하고 싶습니다.

— Henry.L

X (α)

$X(\alpha)$

@ MarkL.Stone 나는 줄을주의 깊게 읽으면 이미 섭동을 제공했는데, 이는 수치 특이성에 대한 표준 솔루션입니다. 그리고 OP는 설명을 업데이트 할 것이라고 말했다. 그래서 우리는 올바르게 공식화 된 문제에 대한 합의에 도달 할 것이라고 생각한다.

— Henry.L