매개 변수가 초과 된 모델에 대한 Fisher 정보 매트릭스 결정자

매개 변수가 (성공 가능성) 인 Bernoulli 랜덤 변수 을 고려하십시오 . 우도 함수 및 Fisher 정보 ( 행렬)는 다음과 같습니다. $X\in\{0,1\}$ $\theta$ $1 \times 1$

\begin{aligned} L_{1} (θ; X) & = p (X | θ) = θ^{X} (1 - θ)^{1 - X} \\ I_{1} (θ) & = det I_{1} (θ) = \frac{1}{θ (1 - θ)} \end{aligned}

$\begin{align} \mathcal{L}_1(\theta;X) &= p(\left.X\right|\theta) = \theta^{X}(1-\theta)^{1-X} \\ \mathcal{I}_1(\theta) &= \det \mathcal{I}_1(\theta) = \frac{1}{\theta(1-\theta)} \end{align}$

이제 성공 확률 $\theta_1$ 과 실패 확률 의 두 매개 변수를 가진 "매개 변수를 초과 한"버전을 $\theta_0$ . ( $\theta_1+\theta_0=1$ 제약 조건은 매개 변수 중 하나가 중복됨을 의미합니다.)이 경우 우도 함수와 피셔 정보 매트릭스 (FIM)는 다음과 같습니다.

\begin{aligned} L_{2} (θ_{1}, θ_{0}; X) & = p (X | θ_{1}, θ_{0}) = θ_{1}^{X} θ_{0}^{1 - X} \\ I_{2} (θ_{1}, θ_{0}) & = (\begin{matrix} \frac{1}{θ_{1}} & 0 \\ 0 & \frac{1}{θ_{0}} \end{matrix}) \\ det I_{2} (θ) & = \frac{1}{θ_{1} θ_{0}} = \frac{1}{θ_{1} (1 - θ_{1})} \end{aligned}

$\begin{align} \mathcal{L}_2(\theta_1,\theta_0;X) &= p(\left.X\right|\theta_1,\theta_0) = \theta_1^{X}\theta_0^{1-X} \\ \mathcal{I}_2(\theta_1,\theta_0) &= \left( \begin{matrix} \frac{1}{\theta_1} & 0 \\ 0 & \frac{1}{\theta_0} \end{matrix} \right) \\ \det \mathcal{I}_2(\theta) &= \frac{1}{\theta_1 \theta_0} = \frac{1}{\theta_1 (1-\theta_1)} \end{align}$

이 두 FIM의 결정 요인은 동일합니다. 또한이 속성은보다 일반적인 범주 형 모델 (즉, 두 개 이상의 상태)로 확장됩니다. 또한 0으로 제한되는 다양한 매개 변수 하위 집합이있는 로그 선형 모델로 확장되는 것으로 보입니다. 이 경우 여분의 "중복"매개 변수는 로그 분할 기능에 해당하며 두 FIM 결정 요인의 동등성은 더 큰 FIM 의 Schur 보완 을 기반으로 표시 될 수 있습니다 . (실제로, 로그 선형 모델의 경우 더 작은 FIM은 더 큰 FIM의 Schur 보완 물일뿐입니다.)

누군가이 속성이 더 큰 파라 메트릭 모델 세트 (예 : 모든 지수 패밀리)로 확장되는지 여부를 설명 하여 그러한 "확장 된"파라미터 세트를 기반으로 FIM 결정 요인을 도출 할 수 있습니까? 즉 , 차원 공간에 포함 된 차원 매니 폴드 에있는 매개 변수가 있는 주어진 통계 모델을 가정합니다 . 이제 매개 변수 집합을 확장하여 하나 이상의 차원 (다른 차원에 따라 완전히 제한됨)을 포함하고 해당 매개 변수를 기반으로 FIM을 계산하면 항상 원본을 기반으로하는 것과 동일한 결정자를 얻게됩니다. (독립) 매개 변수? 또한이 두 FIM은 어떤 관련이 있습니까? $n$ $n$ $(n+1)$ $(n+1)$ $n$

이 질문을하는 이유 는 추가 매개 변수 가있는 FIM이 더 단순 해 보이기 때문입니다. 내 첫 번째 생각은 이것이 일반적으로 작동하지 않아야한다는 것입니다. FIM은 각 매개 변수를 사용하여 로그 가능성의 부분 파생물을 계산합니다. 이 부분 도함수는 문제의 매개 변수가 변경되는 동안 다른 모든 매개 변수는 일정하게 유지되며 추가 (제한된) 매개 변수를 포함하면 사실이 아닙니다. 이 경우 다른 매개 변수가 일정하다고 가정 할 수 없기 때문에 편미분이 더 이상 유효하지 않은 것 같습니다. 그러나 나는 이것이 실제로 문제라는 증거를 아직 찾지 못했다. (종속 변수가있는 경우 부분 미분이 문제가되는 경우 총 미분 $(n+1) \times (n+1)$ 대신에 필요한가? 나는 총 파생 상품으로 FIM을 계산하는 예를 아직 보지 못했지만 아마도 해결책 일 것입니다 ...)

이러한 "확장 된"매개 변수 세트를 기반으로 FIM을 계산하는 온라인에서 찾을 수있는 유일한 예는 다음과 같습니다. 이 노트 에는 범주 분포에 대한 예가 포함되어 있으며 필요한 부분 도함수를 평소대로 계산합니다 (예 : 각 매개 변수가 독립적 인 것처럼) 매개 변수에 제약 조건이 있더라도).

— 타일러 스트리트
소스

좋은 질문! 제약 조건이 없으면 이기 때문에 Bernoulli 랜덤 변수의 두 매개 변수 사양은 다소 불행한 예라고 생각합니다. 더 이상 밀도가 아닙니다. 예를 들어 곡선 지수 패밀리에 대한 관측치를 재현 할 수 있습니까?

p (X | θ_{1}, θ_{0}) = θ_{1}^{X} θ_{0}^{1 - X}

$p(\left.X\right|\theta_1,\theta_0) = \theta_1^{X}\theta_0^{1-X}$

— Khashaa

@Khashaa 나는 두 매개 변수 경우 (당신이 언급 한 것)에 제약 조건 적용 된다고 가정 하므로 우도 함수는 여전히 유효한 밀도입니다. 또한, 예를 들어, 0으로 제한되는 다양한 파라미터의 서브 세트를 갖는 로그 선형 모델에 대한 이러한 관찰을 재현 할 수 있습니다. 이 경우 "중복"매개 변수는 로그 파티션 기능에 해당합니다.

θ_{1} + θ_{2} = 1

$\theta_1 + \theta_2 = 1$

— Tyler Streeter

방법에 대한 ?

N (μ, μ^{2})

$N(\mu, \mu^2)$

— Khashaa

답변:

일반 경우 정보 행렬은 곡선 법선따라서 결정 요인이 같다는 당신의 관찰은 보편적이지는 않지만 전체 이야기가 아닙니다. $X\sim N(\mu,\sigma^2)$

I_{1} = (\begin{matrix} \frac{1}{σ^{2}} & 0 \\ 0 & \frac{1}{2 σ^{4}} \end{matrix})

$\mathcal{I}_1 = \left( \begin{matrix} \frac{1}{\sigma^2} & 0 \\ 0 & \frac{1}{2\sigma^4} \end{matrix} \right)$

X \sim N (μ, μ^{2})

$X\sim N(\mu,\mu^2)$

I_{2} = \frac{3}{μ^{2}} .

$\mathcal{I}_2=\frac{3}{\mu^2}.$

일반적으로 가 재 아래의 정보 매트릭스 경우, 확인하기가 어렵지 않습니다. 원래 매개 변수에 대한 정보 매트릭스는 여기서 는 변환 의 자 코비안입니다 . $\mathcal{I}_g$

g (θ) = (g_{1} (θ), . . ., g_{k} (θ))^{'},

$g(\theta)=(g_1(\theta),...,g_k(\theta))',$

I (θ) = G^{'} I_{g} (g (θ)) G

$I(\theta)=G'I_g(g(\theta))G$

G

$G$

g = g (θ)

$g=g(\theta)$

Bernoulli 예제의 경우 및 입니다. 따라서 Jacobian은 이므로 $(\theta_0,\theta_1)=(p,1-p)$ $g(p)=(p,1-p)$ $(1,-1)'$

I (p) = (\begin{matrix} 1 & - 1 \end{matrix}) (\begin{matrix} \frac{1}{p} & 0 \\ 0 & \frac{1}{1 - p} \end{matrix}) (\begin{matrix} 1 \\ - 1 \end{matrix}) = \frac{1}{p (1 - p)}

$\mathcal{I}(p) = \left( \begin{matrix} 1& -1 \end{matrix} \right)\left( \begin{matrix} \frac{1}{p} & 0 \\ 0 & \frac{1}{1-p} \end{matrix} \right) \left( \begin{matrix} 1 \\ -1 \end{matrix} \right)=\frac{1}{p(1-p)}$

곡선 정규 예제의 경우

I_{2} = (\begin{matrix} 1 & 2 μ \end{matrix}) (\begin{matrix} \frac{1}{μ^{2}} & 0 \\ 0 & \frac{1}{2 μ^{4}} \end{matrix}) (\begin{matrix} 1 \\ 2 μ \end{matrix}) = \frac{3}{μ^{2}} .

$\mathcal{I}_2 = \left( \begin{matrix} 1& 2\mu \end{matrix} \right)\left( \begin{matrix} \frac{1}{\mu^2} & 0 \\ 0 & \frac{1}{2\mu^4} \end{matrix} \right) \left( \begin{matrix} 1 \\ 2\mu \end{matrix} \right)=\frac{3}{\mu^2}.$

이제 결정 요인을 쉽게 연관시킬 수 있다고 생각합니다.

의견 후 후속 조치

내가 정확하게 이해했다면, FIM은 매개 변수를 의미있는 방식으로 확장하는 한 유효합니다. 새로운 매개 변수화 가능성은 유효한 밀도 여야합니다. 따라서 Bernoulli 예제를 불행한 예제라고했습니다.

우리가 및 와 같이 제공 한 링크 가 범주 형 변수에 대한 FIM 도출에 심각한 결함이 있다고 생각합니다 . 음의 헤 시안을 기대하면 가되지만 점수 벡터의 공분산에는 해당되지 않습니다. 제약 조건을 무시하면 정보 매트릭스 평등이 유지되지 않습니다. $E(x_i^2)=\theta_i(1-\theta_i)\neq \theta_i$ $E(x_ix_j)=\theta_i\theta_j\neq 0$ $\mathrm{diag}\{1/\theta_i\}$

— 카샤
소스

Jacobian 변환 접근법과 간단하고 명확한 예를 언급 해 주셔서 감사합니다. 여전히 관심이있는 다음 문제에 대해 귀하 (또는 다른 사람)에게 논평 할 수 있습니까? 여기서 수행하는 것처럼 매개 변수 집합을 1 차원으로 확장 할 때 매개 변수 중 일부 파생 상품 (필요에 따라 FIM)은 이제 하나의 매개 변수를 변경하면 다른 매개 변수는 더 이상 일정하지 않기 때문에 유효하지 않습니다. FIM은 추가 제약 조건으로 인해 부분 미분 값이 유효하지 않다면 확장 된 매개 변수 세트에도 유효합니까?

— Tyler Streeter

@TylerStreeter 문제를 해결하기 위해 답변을 업데이트했습니다.

— Khashaa

결과는 매개 변수 사이의 특정 종류의 관계에 대한 것으로 보입니다.

아래 결과에 대한 전체적인 일반성을 주장하지 않고 "1 ~ 2 개의 매개 변수"사례를 고수합니다. 나타내며 개의 매개 변수 사이에 반드시 유지하는 관계를 표현하는 식을 암시. 그런 다음 "올바른 확장", "2 매개 변수"로그 우도 (OP가 계산 한 값이 아님) $g(\theta_0,\theta_1) =0$

L^{e} = L^{*} (θ_{0}, θ_{1}) + λ g (θ_{0}, θ_{1})

$L^e=L^*(\theta_0,\theta_1) +\lambda g(\theta_0,\theta_1)$ 진정한 우도 동등 , 사람 , ( A는 우리는 두 매개 변수를 독립적으로 취급 할 수 있지만 우리는 차별화합니다.

L

$L$

g (θ_{0}, θ_{1}) = 0

$g(\theta_0,\theta_1)=0$

λ

$\lambda$

파라미터 (1 개의 첨자 1 차 도함수, 2 개의 첨자 2 차 도함수)와 관련하여 미분을 표시하기 위해 첨자를 사용하면, 정확한 확장 로그 우도의 Hessian 결정자는

\begin{matrix} (1) & D_{H} (L^{e}) = [L_{00}^{*} + λ g_{00}] [L_{11}^{*} + λ g_{11}] - [L_{01}^{*} + λ g_{01}]^{2} = D_{H} (L) \end{matrix}

$D_H(L^e) = [L^*_{00}+\lambda g_{00}][L^*_{11}+\lambda g_{11}] - [L^*_{01}+\lambda g_{01}]^2 = D_H(L) \tag{1}$

대신 OP는 무엇을하고 있습니까?

그는 제약 가능성 를 고려하지 않고 두 매개 변수 간의 관계를 "무시" 하는 잘못된 가능성 을 고려합니다 . 그런 다음 차별화를 진행하고 $L^*(\theta_0,\theta_1)$ $g(\theta_0,\theta_1)$

\begin{matrix} (2) & D_{H} (L^{*}) = L_{00}^{*} L_{11}^{*} - [L_{01}^{*}]^{2} \end{matrix}

$D_H(L^*) = L^*_{00}L^*_{11} - [L^*_{01}]^2 \tag{2}$

이 분명하다 일반적으로 동일하지 않다 . $(2)$ $(1)$

그러나 만약 이어서, $g_{00}=g_{11}=g_{00}=0$

(1) \to D_{H} (L^{e}) = L_{00}^{*} L_{11}^{*} - [L_{01}^{*}]^{2} = D_{H} (L^{*}) = D_{H} (L)

$(1) \rightarrow D_H(L^e) = L^*_{00}L^*_{11} - [L^*_{01}]^2 = D_H(L^*) = D_H(L)$

따라서 실제 매개 변수와 중복 매개 변수 사이의 관계가 이들을 연결하는 암시 적 함수의 두 번째 부분 미분 값이 모두 0 이면 근본적으로 잘못된 접근 방식은 "올바른"결과를 낳습니다.

베르누이 사건의 경우, 우리는 실제로

g (θ_{0}, θ_{1}) = θ_{0} + θ_{1} - 1 \Rightarrow g_{00} = g_{11} = g_{01} = 0

$g(\theta_0,\theta_1) = \theta_0 + \theta_1 -1 \Rightarrow g_{00}=g_{11}=g_{01}=0$

부록
@Khashaa 질문에 응답하고 여기서 역학을 보여주기 위해 중복 매개 변수로 지정된 가능성을 고려하지만 중복 매개 변수를 실제 매개 변수와 연결하는 제한 조건 하에서도 고려합니다. 로그 우도를 사용하여 수행하는 작업은 로그 가능성을 최대화하는 것입니다. 따라서 여기에는 제한적인 최대화 사례가 있습니다. 크기가 인 표본을 가정합니다 . $n$

max L_{n}^{*} (θ_{0}, θ_{1}) = \ln θ_{0} \sum_{i = 1}^{n} x_{i} + (n - \sum_{i = 1}^{n} x_{i}) \ln θ_{1}, s . t . θ_{1} = 1 - θ_{0}

$\max L_n^*(\theta_0, \theta_1) = \ln \theta_0\sum_{i=1}^nx_i + \left(n-\sum_{i=1}^nx_i\right)\ln\theta_1,\;\; s.t. \;\; \theta_1 = 1-\theta_0$

이 문제에는 Langrangean이 있습니다 (비공식적으로 위의 "올바른 확장 가능성"이라고 함).

L^{e} = \ln θ_{0} \sum_{i = 1}^{n} x_{i} + (n - \sum_{i = 1}^{n} x_{i}) \ln θ_{1} + λ (θ_{1} - 1 + θ_{0})

$L^e = \ln \theta_0\sum_{i=1}^nx_i + \left(n-\sum_{i=1}^nx_i\right)\ln\theta_1 + \lambda(\theta_1 - 1+\theta_0)$

최대의 1 차 조건은

\frac{\sum_{i = 1}^{n} x_{i}}{θ_{0}} + λ = 0, \frac{n - \sum_{i = 1}^{n} x_{i}}{θ_{1}} + λ_{0} = 0

$\frac {\sum_{i=1}^nx_i}{\theta_0} + \lambda = 0,\;\;\; \frac {n-\sum_{i=1}^nx_i}{\theta_1} +\lambda_0 =0$

우리가 관계를 얻는

\frac{\sum_{i = 1}^{n} x_{i}}{θ_{0}} = \frac{n - \sum_{i = 1}^{n} x_{i}}{θ_{1}} \Rightarrow θ_{1} \sum_{i = 1}^{n} x_{i} = (n - \sum_{i = 1}^{n} x_{i}) θ_{0}

$\frac {\sum_{i=1}^nx_i}{\theta_0} = \frac {n-\sum_{i=1}^nx_i}{\theta_1} \Rightarrow \theta_1\sum_{i=1}^nx_i = \left(n-\sum_{i=1}^nx_i\right)\theta_0$

위에서 유효하에있는 제약 조건을 사용하여, 우리 수득 $\theta_1 = 1-\theta_0$

(1 - θ_{0}) \sum_{i = 1}^{n} x_{i} = (n - \sum_{i = 1}^{n} x_{i}) θ_{0}

$(1-\theta_0)\sum_{i=1}^nx_i = \left(n-\sum_{i=1}^nx_i\right)\theta_0$

\Rightarrow \sum_{i = 1}^{n} x_{i} = n θ_{0} \Rightarrow {\hat{θ}}_{0} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}

$\Rightarrow \sum_{i=1}^nx_i = n\theta_0 \Rightarrow \hat \theta_0 = \frac 1n\sum_{i=1}^nx_i$

우리가해야 할대로.

또한, 모든 매개 변수 에서 구속 조건이 선형 이므로 이차 미분 값은 0이됩니다. 이것은 lagrangean의 1 차 파생물에서 승수 "독립적"이며 lagrangean의 2 차 파생물을 취할 때 제거 될 것이라는 사실에 반영됩니다. 그러면 제약 조건 (OP 가하는 일)도 부과 한 후 결정 요인이 원래의 1 매개 변수 로그 우도의 (1 차원) 이차 미분과 같은 Hessian으로 이어질 것입니다. 그런 다음 두 경우 모두 예상 값의 음수를 취해도이 수학적 동등성은 바뀌지 않으며 "1 차원 Fisher Information = 2 차원 Fisher Information의 결정 요인"관계에 도달합니다. 지금 $\lambda$ 주어진 제약 모든 파라미터 선형 즉, OP 인해의 이차 미분 레벨 존재 / 효과에 최대화 할 수있는 기능의 배율로 제약을 도입하지 않고 (초 미분 레벨)과 동일한 결과를 얻는다 이 경우 제약이 사라집니다.

이 모든 것은 통계적 개념이 아니라 미적분과 관련이 있습니다.

— 알레 코스 파파도풀로스
소스

나는 당신의 논리를 따를 수 없습니다. 왜 Lagrangean과 같은 가 "올바른 확장", "2 모수"로그 가능성으로 간주 되는지 설명해 주 시겠습니까? 또한 헤 시안은 나에게 완전히 신비합니다. 관측 된 정보 매트릭스를 계산하고 있습니까?

L^{e}

$L^e$

— Khashaa

@Khashaa "Hessian"은 다변량 함수의 2 차 도함수의 행렬이라는 용어가 확립되었습니다.

— Alecos Papadopoulos 2016

OP의 특정 예가 존재하기 때문에 여기에 downvoter가 답변을 게시 하고 설명을 요구하면 도움이 될 것 입니다.

— Alecos Papadopoulos 2016

내 질문이 명확하지 않은 경우 죄송합니다. 내 질문은 당신이 Hessian을 정보 매트릭스에 어떻게 연결했는지에 관한 것이 었습니다. 또한, 가 정확한 로그 가능성 인 이유를 설명 할 수 있습니까? 제한된 가능성을 평가하는 몇 가지 원칙적인 방법을 사용하고 있지만 어떻게 작동하는지 이해할 수 없습니다.

L^{e}

$L^e$

— Khashaa

@Khashaa 나는 OP의 예를 사용하여 박람회를 추가했습니다.

— Alecos Papadopoulos