PTLOS 운동 4.1을 해결 한 사람이 있습니까?

이것은 확률 이론 : Edwin Jaynes 의 과학의 논리 , 2003 년에 주어진 연습 입니다. 여기에 부분적인 해결책이 있습니다 . 더 일반적인 부분 솔루션을 개발했으며 다른 사람이 해결했는지 궁금합니다. 내 답변을 게시하기 전에 잠시 기다렸다가 다른 사람들에게 도움을 줄 것입니다.

자, 우리가 표시된 상호 배타적이고 철저한 가설 이 있다고 가정하십시오 . 또한 표시되는 데이터 세트 가 있다고 가정하십시오 . i 번째 가설의 우도 비율은 다음과 같습니다.$n$$H_i \;\;(i=1,\dots,n)$$m$$D_j \;\;(j=1,\dots,m)$

$$LR(H_{i})=\frac{P(D_{1}D_{2}\dots,D_{m}|H_{i})}{P(D_{1}D_{2}\dots,D_{m}|\overline{H}_{i})}$$

이것들은 조건부 확률입니다. 이제 주어진 i 번째 가설 가정 m 우리는 그래서 데이터 세트, 독립적 :$H_{i}$$m$

$$P(D_{1}D_{2}\dots,D_{m}|H_{i})=\prod_{j=1}^{m}P(D_{j}|H_{i}) \;\;\;\; (i=1,\dots,n)\;\;\;\text{Condition 1}$$

이제 분모 가이 상황에서도 고려해 보면 매우 편리합니다.

$$P(D_{1}D_{2}\dots,D_{m}|\overline{H}_{i})=\prod_{j=1}^{m}P(D_{j}|\overline{H}_{i}) \;\;\;\; (i=1,\dots,n)\;\;\;\text{Condition 2}$$

이 경우 우도 비율은 각 데이터 세트에 대해 더 작은 요소의 곱으로 분할되므로 다음과 같이됩니다.

$$LR(H_i)=\prod_{j=1}^{m}\frac{P(D_{j}|H_{i})}{P(D_{j}|\overline{H}_{i})}$$

그래서이 경우, 각 데이터 세트 것 "에 대한 투표 $H_i$ "또는 "에 대한 투표 $H_i$ "독립적으로 다른 데이터 세트의.

$n>2$ ( 2 개의 가설 이상) 인 경우이 인수 분해가 발생할 수있는 사소한 방법이 없음 을 증명해야 합니다. 즉, 조건 1과 조건 2가 유지된다고 가정하면

$$\frac{P(D_{1}|H_{i})}{P(D_{1}|\overline{H}_{i})}\frac{P(D_{2}|H_{i})}{P(D_{2}|\overline{H}_{i})}\dots\frac{P(D_{m}|H_{i})}{P(D_{m}|\overline{H}_{i})}$$ 은 (는 ) 1과 다르므로 하나의 데이터 집합 만 가능성 비율에 기여합니다.

개인적으로이 결과는 여러 가지 가설 검정이 일련의 이진 가설 검정에 불과하다는 것을 보여주기 때문에 매우 흥미로 웠습니다.

우리가 eq.를 수락 한 이유 4.28 (도서에서 조건 1)은 특정 가설 와 배경 정보 가 주어진 데이터의 확률 이 독립적 했습니다. , 및 과 같습니다.H a X D i D j i ≠ $H_a$$X$$D_i$$D_j$$i\neq{j}$

$$\begin{equation}P(D_i|D_jH_aX)=P(D_i|H_aX)\quad\quad{\rm (1)}\end{equation}$$ 그러므로 이항 경우를 넘어서는 확장 성은 다음과 같이 논의 될 수 있습니다. .1이 사실이라면, eq.2도 참입니까?

$$\begin{equation}P(D_i|D_j\overline{H_a}X)\stackrel{?}{=}P(D_i|\overline{H_a}X)\quad\quad{\rm (2)}\end{equation}$$ 먼저 곱셈 규칙을 사용하여 등식 2의 왼쪽을 살펴 보겠습니다.

$$\begin{equation}P(D_i|D_j\overline{H_a}X)=\frac{P(D_iD_j\overline{H_a}|X)}{P(D_j\overline{H_a}|X)}\quad\quad{\rm (3)}\end{equation}$$ 때문에 가설 상호 배타적이고 철저한 가정, 우리는 쓸 수있다 : 따라서 식 3은 다음과 같이됩니다. (1 개만 존재하기 때문에 우리는 단지 두 가지 가설을 가지고있는 경우에있어서, 합산 제거한 , 추천인 및 분모에서 동등한 조건) ), 취소 및 등식 2가 올바른 것으로 판명되었습니다.$n$$\{H_1\dots{H_n}\}$ $$\overline{H_a}=\sum_{b\neq{a}}H_b$$ $$P(D_i|D_j\overline{H_a}X)=\frac{\sum_{b\neq{a}}P(D_i|D_jH_bX)P(D_jH_b|X)}{\sum_{b\neq{a}}P(D_jH_b|X)}=\frac{\sum_{b\neq{a}}P(D_i|H_bX)P(D_jH_b|X)}{\sum_{b\neq{a}}P(D_jH_b|X)}$$ $b\neq{a}$$P(D_jH_b|X$$H_b=\overline{H_a}$ . 따라서 방정식 4.29는이 책의 방정식 4.28에서 파생 될 수 있습니다. 그러나 가설이 두 개 이상인 경우에는 이러한 현상이 발생하지 않습니다. 예를 들어 가설이 세 개인 경우 위의 방정식은 다음과 같습니다. 다시 말해 : 이 방정식이 eq.2를 산출 할 수있는 유일한 방법은 두 분모가 모두 1과 같다는 것입니다. 분모는 0과 같아야합니다. 그러나 그것은 불가능합니다.$\{H_1, H_2, H_3\}$ $$P(D_i|D_j\overline{H_1}X)=\frac{P(D_i|H_2X)P(D_jH_2|X)+P(D_i|H_3X)P(D_jH_3|X)}{P(D_jH_2|X)+P(D_jH_3|X)}$$ $$P(D_i|D_j\overline{H_1}X)=\frac{P(D_i|H_2X)}{1+\frac{P(D_jH_3|X)}{P(D_jH_2|X)}}+\frac{P(D_i|H_3X)}{1+\frac{P(D_jH_2|X)}{P(D_jH_3|X)}}$$

좋아, 그래서 손더스의 방정식 (5)를 다시 도출하기보다는 여기에 언급하겠습니다. 조건 1과 2는 다음과 같은 평등을 의미합니다.

$$\prod_{j=1}^{m}\left(\sum_{k\neq i}h_{k}d_{jk}\right)=\left(\sum_{k\neq i}h_{k}\right)^{m-1}\left(\sum_{k\neq i}h_{k}\prod_{j=1}^{m}d_{jk}\right)$$ 여기서 $$d_{jk}=P(D_{j}|H_{k},I)\;\;\;\;h_{k}=P(H_{k}|I)$$

이제 우리는 을 취하고 레이블을 다시 지정 하여 (2 개의 데이터 세트)로 전문화 할 수 있습니다. . 이 두 데이터 세트는 여전히 조건 1과 2를 만족하므로 위의 결과도 적용됩니다. 이제 경우 확장 하면 다음과 같습니다.$m=2$$D_{1}^{(1)}\equiv D_{1}$$D_{2}^{(1)}\equiv D_{2}D_{3}\dots D_{m}$$m=2$

$$\left(\sum_{k\neq i}h_{k}d_{1k}\right)\left(\sum_{l\neq i}h_{l}d_{2l}\right)=\left(\sum_{k\neq i}h_{k}\right)\left(\sum_{l\neq i}h_{l}d_{1l}d_{2l}\right)$$

$$\rightarrow\sum_{k\neq i}\sum_{l\neq i}h_{k}h_{l}d_{1k}d_{2l}=\sum_{k\neq i}\sum_{l\neq i}h_{k}h_{l}d_{1l}d_{2l}$$

$$\rightarrow\sum_{k\neq i}\sum_{l\neq i}h_{k}h_{l}d_{2l}(d_{1k}-d_{1l})=0\;\;\;\;\;\;\; (i=1,\dots,n)$$

용어 는 및 일 때 한 번, 및 때 다시 한 번 위의 이중 합계에서 두 번 발생 . 이것은 발생합니다 . 각 항의 계수는 및 됩니다. 이제이 방정식 중 가 있으므로 실제로이 방정식에서 를 제거 할 수 있습니다 . 설명하기 위해 취 하면 이제 및 제외한 모든 조건이 있음을 의미 합니다. 이제 취하십시오$(d_{1a}-d_{1b})$$k=a$$l=b$$k=b$$l=a$$a,b\neq i$$d_{2b}$$-d_{2a}$$i$$i$$i=1$$a=1,b=2$$b=1,a=2$$i=3$우리는 이제이 두 가지 조건을 가질 수 있습니다 (이것은 적어도 세 가지 가정을 가정합니다). 따라서 방정식을 다음과 같이 다시 작성할 수 있습니다.

$$\sum_{l>k}h_{k}h_{l}(d_{2l}-d_{2k})(d_{1k}-d_{1l})=0$$

이제 각 항은 0보다 커야합니다. 그렇지 않으면 우리는 가설을 다루기 때문에 대답은 관점에서 재구성 될 수 있습니다 . 따라서 위의 조건에서 제거 할 수 있습니다.$h_i$$n_{1}<n$$n_{1}$

$$\sum_{l>k}(d_{2l}-d_{2k})(d_{1k}-d_{1l})=0$$

따라서, 거기 그 : 만족되어야하는 조건으로, 각 상태는 두 개의 "서브 상태"중 하나를 의미 중 하나에 대한 또는 (둘다는 아님). 이제 대한 모든 고유 쌍 세트가 있습니다 . 우리가 걸릴 것 인 경우 의 하나 이러한 쌍을 , 우리는 모든 숫자 것 세트에, 그리고 . 첫 번째 쌍에는 요소가 있고 각 추가 쌍은 하나 이상의 추가 요소를 세트에 가져 오기 때문입니다 *$\frac{n(n-1)}{2}$$d_{jk}=d_{jl}$$j=1$$j=2$$(k,l)$$d_{jk}=d_{jl}$$n-1$$j$$1,\dots,n$$d_{j1}=d_{j2}=\dots=d_{j,n-1}=d_{j,n}$$2$

그러나 조건이 있으므로 적어도 보다 크거나 같은 가장 작은 정수를 선택해야합니다. 또는 중 하나에 대해 입니다 . 경우 다음 선택 조건의 수가보다 큰 . 만약 또는 우리가 선택해야 정확히 용어. 이는 입니다. 두 가설 ( ) 만있는 경우 이것이 발생하지 않습니다. 그러나 Saunder의 기사의 마지막 방정식에서이 평등 조건은 다음을 의미합니다.$\frac{n(n-1)}{2}$$\frac{1}{2}\times\frac{n(n-1)}{2}=\frac{n(n-1)}{4}$$j=1$$j=2$$n>4$$n-1$$n=4$$n=3$$n-1$$d_{j1}=d_{j2}=\dots=d_{j,n-1}=d_{j,n}$$n=2$

$$P(D_{j}|\overline{H}_{i})=\frac{\sum_{k\neq i}d_{jk}h_{k}}{\sum_{k\neq i}h_{k}}=d_{ji}\frac{\sum_{k\neq i}h_{k}}{\sum_{k\neq i}h_{k}}=d_{ji}=P(D_{j}|H_{i})$$

따라서 우도 비에는

$$\frac{P(D_{1}^{(1)}|H_{i})}{P(D_{1}^{(1)}|\overline{H}_{i})}=\frac{P(D_{1}|H_{i})}{P(D_{1}|\overline{H}_{i})}=1 \text{ OR} \frac{P(D_{2}^{(1)}|H_{i})}{P(D_{2}^{(1)}|\overline{H}_{i})}=\frac{P(D_{2}D_{3}\dots,D_{m}|H_{i})}{P(D_{2}D_{3}\dots,D_{m}|\overline{H}_{i})}=1$$

증명을 완료하기 위해 두 번째 조건이 유지되면 결과가 이미 입증되었으며 하나의 비율 만 1과 다를 수 있습니다. 첫 번째 조건이 유지되면 및 . 그러면 이 기여하지 않거나 가 유일한 기여자가됩니다. 그런 다음 가) 보류에 기여하지 않는 경우 세 번째 레이블을 다시 지정 합니다. 따라서 조건 1과 조건 2가 유지 될 때 하나의 데이터 세트 만 우도 비율에 기여할 수 있으며 두 개 이상의 가설이 있습니다.$D_{1}^{(2)}\equiv D_{2}$$D_{2}^{(2)}\equiv D_{3}\dots,D_{m}$$D_{1},D_{2}$$D_{2}$$D_{1}D_{2}$

* 참고 : 추가 쌍은 새로운 용어를 가져올 수 없지만이 용어는 2 개의 새로운 용어를 가져온 것으로 상쇄됩니다. 예를 들어 를 첫 번째로 사용 [+2], [+1] 및 [+0] 대해 가 있습니다 . 두 개의 용어 [+2]가 추가됩니다. 만약 우리는 더 이상 선택할 필요가 없습니다, 그러나 "다른"에 대한 우리가하지 않는 3쌍 선택해야합니다 . 이것들은 이므로 모든 숫자 가 세트에 있기 때문에 등식이 유지 됩니다.$d_{j1}=d_{j2}$$d_{j1}=d_{j3}$$d_{j2}=d_{j3}$$d_{jk}=d_{jl}$$k,l\notin (1,2,3)$$n=4$$j$$(1,2),(2,3),(1,3)$$(1,4),(2,4),(3,4)$$(1,2,3,4)$

기록을 위해 여기에 좀 더 광범위한 증거가 있습니다. 배경 정보도 포함되어 있습니다. 아마도 이것은 주제를 연구하는 다른 사람들에게 도움이 될 것입니다.

증거의 주요 아이디어는 Jaynes의 조건 1과 2가 하나의 데이터 세트를 제외한 모든 데이터 세트에 대해 임을 암시한다는 것 입니다. . 그런 다음 모든 데이터 세트에 대해 따라서 우리는 하나의 데이터 세트를 제외하고 모두 여기에 증거를 포함 이유는 관련된 단계 중 일부가 명확하지 않으며 조건 이외의 다른 것을 사용하지 않도록주의해야한다는 것입니다. 1 및 2와 제품 규칙 (다른 많은 증거가 암시 적으로 수행함). 위 의 링크

$$P(D_{m_k}|H_iX)=P(D_{m_k}|X),$$ $m_k=1,\ldots,m$ $$P(D_{m_k}|\overline H_iX)=P(D_{m_k}|X).$$ $$\frac{P(D_{m_k}|H_iX)}{P(D_{m_k}|\overline H_iX)} = \frac{P(D_{m_k}|X)}{P(D_{m_k}|X)} = 1.$$ 이 모든 단계를 자세히 포함합니다. Google 드라이브에 있으며 액세스 가능한 상태로 유지합니다.