베이지안 온라인 변경점 탐지 (마진 예측 분포)

Adams와 MacKay 의 Bayesian 온라인 변경점 감지 논문을 읽고 있습니다 ( 링크 ).

저자는 한계 예측 분포를 작성하여 시작합니다.

$$P(x_{t+1} | \textbf{x}_{1:t}) = \sum_{r_t} P(x_{t+1} | r_t, \textbf{x}_t^{(r)}) P(r_t | \textbf{x}_{1:t}) \qquad \qquad (1)$$ 어디

• $x_t$ 시간의 관찰이다 $t$;
• $\textbf{x}_{1:t}$ 시간까지의 관측 세트를 나타냅니다 $t$;
• $r_t \in \mathbb{N}$현재 실행 길이 (마지막 변경점 이후 시간, 0 일 수 있음)입니다. 과
• $\textbf{x}_t^{(r)}$ 실행과 관련된 관측 값 세트입니다. $r_t$.

등식 1은 공식적으로 정확하지만 (@JuhoKokkala의 아래 답변 참조) 내 이해는 실제로 예측하려는 경우$x_{t+1}$ 다음과 같이 확장해야합니다.

$$P(x_{t+1} | \textbf{x}_{1:t}) = \sum_{r_t, r_{t+1}} P(x_{t+1} | r_{t+1}, \textbf{x}_t^{(r)}) P(r_t | \textbf{x}_{1:t}) P(r_{t+1} | r_t) \qquad (1\text{b})$$

내 추론은 (미래) 시간에 변화 점이있을 수 있다는 것입니다. $t+1$, 그러나 후부 $P(r_t | \textbf{x}_{1:t})$ 까지만 커버 $t$.

요점은 논문의 저자들이 우리를 Eq. 1 은 그대로 (용지의 식 3과 11 참조) 1b가 아닙니다 . 그래서 그들은 시점에서 변화 지점의 가능성을 무시하는 것처럼 보입니다.$t+1$ 예측할 때 $x_{t+1}$ 시간에 사용 가능한 데이터에서 $t$. 섹션 2의 시작 부분에서 그들은 enpassant 라고 말합니다

예측 분포를 계산할 수 있다고 가정합니다. $x_{t+1}$] 주어진 실행 길이에 조건부 $r_t$.

아마도 트릭이있는 곳일 것입니다. 그러나 일반적으로이 예측 분포는 Eq. 1b; 그것은 그들이하는 일이 아닙니다 (식 11).

그래서, 나는 무슨 일이 일어나고 있는지 잘 모르겠습니다. 아마도이 표기법에는 재미있는 것이있을 것입니다.

---

참고

• Adams, RP, MacKay, DJ (2007). 베이지안 온라인 변경점 감지. arXiv 프리 프린트 arXiv : 0710.3742.

(1)과 (1b)는 모두 정확합니다. OP는 (이 모델에서)$t+1$, $x_{t+1}$변경점이 있는지 여부에 따라 다릅니다. 이것은 가능한 값으로 (1)과 관련된 문제를 의미하지 않습니다.$r_{t+1}$ 에 의해 완전히 "덮여있다" $P(x_{t+1} \mid r_t, x_{1:t})$. $P(x_{t+1} | r_t, x_{1:t})$ 조건부 분포를 의미합니다. $x_{t+1}$ 조건부 $(r_t, x_{1:t})$. 이 조건부 분포는 다음을 포함하여 "다른 모든 것"보다 평균입니다.$r_{t+1}$조건부 $(r_t, x_{1:t})$. 사람이 쓸 수있는 것처럼$P(x_{t+1000} | x_t)$변경점의 모든 가능한 구성과 값을 고려합니다. $x_i$사이에 발생 $t$ 과 $t+1000$.

나머지 부분에서는 먼저 (1)을 기반으로 (1)과 (1b)를 도출합니다.

(1)의 유도

임의의 변수 $A,B,C$우리는

$$\begin{equation} P(A \mid B) = \sum_c P(A \mid B, C=c)\,P(C=c \mid B), \end{equation}$$ 하는 한 $C$불 연속적입니다 (그렇지 않으면 합계를 정수로 대체해야 함). 이것을 적용$x_{t+1},x_{1:t},r_t$:

$$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} P(x_{t+1} \mid r_t, x_{1:t})\,P(r_t \mid x_{1:t}), \end{equation}$$ 어떤 의존성에 관계없이 $r_t$, $x_{1:t}$, $x_{t+1}$즉, 모델 가정이 아직 사용되지 않은 것입니다. 현재 모델에서$x_{t+1}$ 주어진 $r_t,x^{(r)}_t$ 조건부 값에 독립적 인 것으로 가정 * $x$ 전에 실행에서 $x^{(r)}_t$. 이것은 암시$P(x_{t+1} \mid r_t, x_{1:t}) = P(x_{t+1} \mid r_t, x^{(r)}_t)$. 이것을 이전 방정식으로 대체하면

$$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} P(x_{t+1} \mid r_t, x^{(r)}_t)\,P(r_t \mid x_{1:t}), \qquad \qquad \qquad (1) \end{equation}$$ OP에서 (1)입니다.

(1b)의 유도

우리의 분해를 고려하자 $P(x_{t+1} \mid r_t, x^{(r)}_t)$ 가능한 값보다 $r_{t+1}$:

$$\begin{equation} P(x_{t+1} \mid r_t, x^{(r)}_t) = \sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, r_t, x^{(r)}_t)P(r_{t+1} \mid r_t, x^{(r)}_t). \end{equation}$$

변경점이 발생하는지 여부가 가정되기 때문에 * $t+1$ (중에서 $x_t$ 과 $x_{t+1}$)의 역사에 의존하지 않습니다 $x$우리는 $P(r_{t+1} \mid r_t, x^{(r)}_t) = P(r_{t+1} \mid r_t)$. 또한, 이후$r_{t+1}$ 여부를 결정 $x_{t+1}$ 같은 실행에 속한다 $x_t$우리는 $P(x_{t+1} \mid r_{t+1}, r_t, x^{(r)}_t)=P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)$. 이 두 가지 단순화를 위의 인수 분해로 대체하면

$$\begin{equation} P(x_{t+1} \mid r_t, x^{(r)}_t) = \sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)P(r_{t+1} \mid r_t). \end{equation}$$ 이것을 (1)로 대체하면 $$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} \left(\sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)P(r_{t+1} \mid r_t)\right)\,P(r_t \mid x_{1:t}), \qquad (1b) \end{equation}$$ 이것은 OP (1b)입니다.

* 모델의 조건부 독립성 가정에 대한 언급

논문을 신속하게 찾아 보면 조건부 독립 속성이 개인적으로 어딘가에 더 명확하게 언급되기를 원하지만 그 의도는 다음과 같습니다. $r$ Markovian이고 $x$다른 실행과 관련된 : s는 독립적입니다 (실행이 주어짐).