한계 수만을 고려한 관절 분포의 최대 우도 추정

를 와 함께 두 개의 범주 형 변수 의 공동 분포라고 합시다 . 이 분포에서 표본을 추출 했다고 가정 하지만 대한 한계 계수 만 제공됩니다 . $p_{x,y}$ $X,Y$ $x,y\in\{1,\ldots,K\}$ $n$ $j=1,\ldots,K$

S_{j} = \sum_{i = 1}^{n} δ (X_{i} = l), T_{j} = \sum_{i = 1}^{n} δ (Y_{i} = j),

$S_j = \sum_{i=1}^{n}{\delta(X_i=l)}, T_j = \sum_{i=1}^{n}{\delta(Y_i=j)},$

최대 우도 추정이란 , 주어진 ? 이것이 알려져 있습니까? 계산 가능합니까? ML 외에이 문제에 대한 다른 합리적인 접근 방법이 있습니까? $p_{x,y}$ $S_j,T_j$

— RS
소스

마진에는 실제로 관절 분포에 대한 정보가 포함되어 있지 않습니다 (실제로 이것은 쿨라 포인트입니다).

$\:$ * 또는 적어도 거의 – 최소한 내부 정보는 발생하는 마진을 초과 할 수 없기 때문에 마진에 최소한 일부 정보가 포함되어 있습니다. 특정 공동 분포를 염두에두고 있습니까? 왜 maximum-entropy태그 를 사용 했 습니까? 최대 엔트로피 솔루션을 사용하고 있습니까?

— Glen_b -Reinstate 모니카

나는 copulas에 익숙하지 않습니다. 그들은 범주적인 사건을지지합니까? 그것은 같은 마진을 가진 모든 공동 분포가 같은 가능성을 가질 것이라는 것을 의미합니까? (나는 그것이 적절하다고 생각했기 때문에 최대 엔트로피를 태그했다.)

— RS

우리는 아직 특정 분포 모델을 가지고 있지 않기 때문에 실제로

를 계산할 위치에 있지 않습니다 . 여기에는 수많은 가능성이 있습니다. Copulas는 순서가 지정된 범주 형 사례 (독특하지 않은 경우)에 대해 존재하지만이를 높이는 목표는 한계가 일반적으로 그다지 유익하지 않은 이유에 대한 동기를 부여하는 것이 었습니다. 피셔-어윈의 정확한 테스트 인 경우, 피셔-카운트 수 사건과 관련하여 Fisher는 마진을 조인트에 대한 정보가없는 것으로 취급했습니다. 최대 엔트로피를 원한다면 아마도 최대 엔트로피 솔루션을 얻을 수 있지만, 그것이 매우 유익하다는 것을 모르겠습니다 ...

P (x | θ)

$P(x|\theta)$

— Glen_b -Reinstate Monica

(ctd) ... 구조. ME 또는 ML 사례에서, 나는 이변 량 다항식, 이변 량 초 지오메트리 또는 더 많은 구조를 가진 어떤 모델이든 먼저 어떤 종류의 모델이 필요하다고 생각합니다. 저자가 답변에 참조를 넣는 이 질문을 참조하십시오 . 도움이 될 수 있습니다.

— Glen_b-복지 주 모니카

나는 일반적인 이변 량 다항 분포를 의미했습니다. 문제는 분포의 합이 주어지고 공동 분포의 표본을 보는 경우에 대해 말합니다. 여기에 샘플의 합이 있습니다. ML 사례에서 문제가 잘 정의되어 있다고 생각합니다 (솔루션은 독특하지는 않지만 모르겠습니다).

— RS

답변:

이러한 종류의 문제는 Dobra et al (2006) 의 논문 "고정 한계 총계 를 갖는 다 방향 우연성 테이블의 데이터 증강" 에서 연구되었다 . 하자 모델의 파라미터를 나타낸다하게 각 계수의 관측 정수 테이블을 나타내는 쌍과하자 한계 카운트 동일 정수 테이블들의 집합 . 그런 다음 한계 카운트 를 관찰 할 확률은 다음과 같습니다. $\theta$ $\mathbf{n}$ $(x,y)$ $C(S,T)$ $(S,T)$ $(S,T)$ 여기서 는 다항식 샘플링 분포입니다. 이는 ML에 대한 우도 함수를 정의하지만 작은 문제를 제외하고 직접 평가는 불가능합니다. 그들이 권장하는 접근 방식은 MCMC이며 과 를 번갈아 업데이트합니다.

p (S, T | θ) = \sum_{n \in C (S, T)} p (n | θ)

$p(S,T | \theta) = \sum_{\mathbf{n} \in C(S,T)} p(\mathbf{n} | \theta)$

p (n | θ)

$p(\mathbf{n} | \theta)$

n

$\mathbf{n}$

θ

$\theta$ 제안 배포에서 샘플링하고 Metropolis-Hastings 수락 비율에 따라 변경을 수락합니다. 이것은 Monte Carlo EM을 사용하여

이상의 대략적인 최대 값을 찾도록 조정될 수 있습니다 .

θ

$\theta$

다른 접근법은 변형 방법을 사용하여 대한 합계를 근사화합니다 . 한계 제약은 인자 그래프로 인코딩 될 수 있고 대한 추론은 기대 전파를 사용하여 수행 될 수있다. $\mathbf{n}$ $\theta$

이 문제가 어려운 이유와 사소한 해결책을 인정하지 않는 이유를 보려면 . 촬영 로우 합과 같은 열의 합으로서 카운트 테이블의 두 가지가있다 : $S=(1,2), T=(2,1)$ $S$ $T$ 따라서, 우도 함수이며 이 문제에 대한 MLE 인

[\begin{matrix} 0 & 1 \\ 2 & 0 \end{matrix}] [\begin{matrix} 1 & 0 \\ 1 & 1 \end{matrix}]

$\begin{bmatrix} 0 & 1 \\ 2 & 0 \end{bmatrix} \qquad \begin{bmatrix} 1 & 0 \\ 1 & 1 \end{bmatrix}$

p (S, T | θ) = 3 p_{12} p_{21}^{2} + 6 p_{11} p_{21} p_{22}

$p(S,T|\theta) = 3 p_{12} p_{21}^2 + 6 p_{11} p_{21} p_{22}$

{\hat{p}}_{x, y} = [\begin{matrix} 0 & 1 / 3 \\ 2 / 3 & 0 \end{matrix}]

$\hat{p}_{x,y} = \begin{bmatrix} 0 & 1/3 \\ 2/3 & 0 \end{bmatrix}$ 이것은 왼쪽의 표를 가정하는 것에 해당합니다. 대조적으로, 사용자가 독립을 가정함으로써 얻을 것이라고 예상은

어느 가능성 값이 작습니다.

q_{x, y} = [\begin{matrix} 1 / 3 \\ 2 / 3 \end{matrix}] [\begin{matrix} 2 / 3 & 1 / 3 \end{matrix}] = [\begin{matrix} 2 / 9 & 1 / 9 \\ 4 / 9 & 2 / 9 \end{matrix}]

$q_{x,y} = \begin{bmatrix} 1/3 \\ 2/3 \end{bmatrix} \begin{bmatrix} 2/3 & 1/3 \end{bmatrix} = \begin{bmatrix} 2/9 & 1/9 \\ 4/9 & 2/9 \end{bmatrix}$

— 톰 민카
소스

분석 솔루션을 얻을 수 없습니까?

— Ben Kuhn

θ

$\theta$

θ = {θ_{x, y}}

$\theta=\{\theta_{x,y}\}$

(x, y)

$(x,y)$

분석 솔루션이 있다고 생각하지 않습니다. 이것을 설명하기 위해 예제를 추가했습니다.

— Tom Minka

감사. 아마도 무증상입니까? 그런 다음 여백 총계에 대한 조정은 (정규화 후) 여백 분포에 대한 조정과 동일하며 관찰되지 않은 각 정수 테이블의 로그 가능성은 엔트로피에 비례합니다. 아마도 AEP로 뭔가?

— RS

@Glen_b가 지적했듯이 이것은 충분하지 않습니다. 가능성을 완전히 지정할 수 없다면 최대 가능성을 사용할 수 있다고 생각하지 않습니다.

독립성을 기꺼이 생각한다면 문제는 매우 간단합니다 (실수로, 해결책은 제안 된 최대 엔트로피 솔루션이라고 생각합니다). 문제에 추가 구조를 기꺼이 적용하지 않고 여전히 세포 값에 대한 근사치를 원한다면 Fréchet-Hoeffding copula bounds를 사용할 수 있습니다 . 추가 가정이 없으면 더 이상 갈 수 없다고 생각합니다.

— F. 터셀
소스

이것에 대한 가능성은 다항식 일 수 있습니다. 왜 충분하지 않습니까?

— RS

내가 이해하는 것처럼, 가능성은 데이터가 주어진 매개 변수의 함수입니다. 여기에는 각 셀에 대한 값이없고 한계 값 만 있으므로 계산할 수있는 매개 변수의 단일 기능은 최대화 할 수 없습니다. 일반적으로 여백과 호환되는 많은 셀 구성이 있으며 각각 다른 가능성을 제공합니다.

— F. Tusell

p

$p$

p

$p$

$p_{x,y}$ $p_x = \sum_y p_{x,y}$ $p_y = \sum_x p_{x,y}$

잘못된 것들은 다음과 같습니다.

$p_{x, y}$ $X, Y$ $S_1 = S_2 = T_1 = T_2 = 10$

p = (\begin{array}{cc} \frac{1}{2} & 0 \\ 0 & \frac{1}{2} \end{array}), p = (\begin{array}{cc} \frac{1}{4} & \frac{1}{4} \\ \frac{1}{4} & \frac{1}{4} \end{array})

$p = \left(\begin{array}{cc} \frac12 & 0 \\ 0 & \frac12\end{array}\right), \qquad p = \left(\begin{array}{cc} \frac14 & \frac14 \\ \frac14 & \frac14\end{array}\right)$

$p_x$ $p_y$

$p = \left(\begin{array}{cc}a & b \\ c & d\end{array}\right)$ $0 < a \le d$ $p = \left(\begin{array}{cc}0 & b + a \\ c + a & d - a\end{array}\right)$

$X, Y$

$H(p) = -\sum_{x,y} p_{x,y} \log p_{x,y}$ $\sum_x p_{x,y} = p_y$ $\sum_{y} p_{x,y} = p_x$ $\vec g(p) = 0$ $g_x(p) = \sum_y p_{x,y} - p_x$ $g_y(p) = \sum_x p_{x,y} - p_y$

\nabla H (p) = \sum_{k \in X \cup Y} λ_{k} \nabla g_{k} (p)

$\nabla H(p) = \sum_{ k \in X \cup Y} \lambda_k \nabla g_k(p)$

$g_k$

1 - \log p_{x, y} = λ_{x} + λ_{y} ⟹ p_{x, y} = e^{1 - λ_{x} - λ_{y}}

$1 - \log p_{x,y} = \lambda_x + \lambda_y \implies p_{x,y} = e^{1-\lambda_x-\lambda_y}$

$\sum_x p_{x,y} = p_y$ $\sum_{y} p_{x,y} = p_x$ $e^{1/2 - \lambda_x} = p_x$ $e^{1/2 - \lambda_y} = p_y$

p_{x, y} = p_{x} p_{y} .

$p_{x,y} = p_xp_y.$

— 벤 쿤
소스

S_{1} = S_{2} = T_{1} = T_{2} = 10

$S_1=S_2=T_1=T_2=10$

p

$p$

[[10, 0], [0, 10]]

$[[10,0],[0,10]]$

2^{- 20}

$2^{-20}$

p

$p$

\sum_{0 \leq a \leq 10} P r [[a, 10 - a], [10 - a, a]]

$\sum_{0\le a \le 10}{Pr[[a,10-a],[10-a,a]]}$

10 \cdot 4^{- 20}

$10\cdot 4^{-20}$

확률을 잘못 계산했습니다. 예를 들어, 이항 계수를 포함하는 것을 잊었습니다. 하지만 당신은 두 행렬이 서로 다른 줄 그 권리에있어 공동 가 한계 카운트 같은 한계 분포를 제공하더라도 한계 카운트의 분포를. (이봐!) 나는 이것에 대해 더 생각할 것이다.

— Ben Kuhn