확률 척도들 사이의 라돈-니코 딤 유도체의 해석?

나는 어떤 시점에서 다른 확률에 대한 하나의 확률 측정의 Radon-Nikodym 미분을 사용하는 것을 보았는데, 특히 Kullback-Leibler 발산에서 임의의 매개 변수 에 대한 모델의 확률 측정의 미분 실제 매개 변수 과 관련하여 : $\theta$ $\theta_0$

\frac{d P_{θ}}{d P_{θ_{0}}}

$\frac {dP_\theta}{dP_{\theta_0}}$

둘 다 매개 변수 값에 조건부 인 데이터 포인트 공간에 대한 확률 측정치 인 경우 . $P_\theta(D)=P(D|\theta)$

Kullback-Leibler 발산에서 또는보다 일반적으로 두 확률 척도 사이에서 이러한 라돈-니코 딤 유도체의 해석은 무엇입니까?

— 사용자
소스

먼저 확률 측정이 필요하지 않으며 -finiteness 만 있으면됩니다. 그렇게하자 측정 가능한 공간하고하자 및 수 에 -finite 대책 . $\sigma$ $\mathcal M = (\Omega, \mathscr F)$ $\mu$ $\nu$ $\sigma$ $\mathcal M$

라돈 Nikodym 정리 명시하는 경우 의 모든 , 붙이고 다음 음이 아닌 보렐 존재 함수 와 같이 모든 대해 입니다 . $\mu(A) = 0 \implies \nu(A) = 0$ $A \in \mathscr F$ $\mu \gg \nu$ $f$

ν (A) = \int_{A} f d μ

$\nu(A) = \int_A f \,\text d\mu$

A \in F

$A \in \mathscr F$

여기 내가 이것을 어떻게 생각하는지 좋아합니다. 먼저, 에 대한 두 가지 측정 값에 대해 를 정의 하여 합니다. 이것은 유효한 등가 관계 경우 와 는 동일 합니다. 이것이 왜 측정에 대한 합리적인 동등성입니까? 측정은 단지 기능 일 뿐이지 만 도메인은 시각화하기 까다 롭습니다. 두 개의 일반 함수 에이 속성이있는 어떻습니까? ? 글쎄, 하고 어디서나 지원 $\mathcal M$ $\mu \sim \nu$ $\mu(A) = 0 \iff \nu(A) = 0$ $\mu$ $\nu$ $f, g :\mathbb R \to \mathbb R$ $f(x) = 0 \iff g(x) = 0$

h (x) = {\begin{cases} f (x) / g (x) & g (x) \neq 0 \\ π^{e} & o.w. \end{cases}

$h(x) = \begin{cases} f(x) / g(x) & g(x) \neq 0 \\ \pi^e & \text{o.w.}\end{cases}$

g

$g$ 우리는 가지고 있으며 , ( 와 가 지원하기 때문에)의 지원을 제외하고 는 를 로 재조정 할 수 있습니다 . @ whuber가 지적했듯이, 여기서 핵심 아이디어는 이 어떻게 든 안전하거나 무시하는 것이 아니라 일 때 가 무엇이든 중요 하지 않으므로 임의로 정의 할 수 있습니다 (예 : 여기서 특별한 의미가없는 이어야 합니다) 여전히 작동합니다. 또한,이 경우에 우리는 유사한 기능을 정의 할 수 와 그래서 그

g h = f

$gh = f$

g

$g$

g h = 0 \cdot π^{e} = 0 = f

$gh = 0 \cdot \pi^e = 0 = f$

f

$f$

g

$g$

h

$h$

g

$g$

f

$f$

0 / 0

$0/0$

g = 0

$g = 0$

h

$h$

π^{e}

$\pi^e$

h^{'}

$h'$

g / f

$g / f$

f h^{'} = g

$fh' = g$ 입니다.

다음으로 한다고 가정 하지만 다른 방향이 반드시 유지되는 것은 아닙니다. 이것은 대한 이전 정의가 여전히 작동하지만 이제는 실제 나누기가 있기 때문에 가 작동하지 않음을 의미합니다 . 따라서 우리는 를 통해 를 로 재조정 할 수 있지만 을 이 아닌 것으로 재조정해야하기 때문에 다른 방향으로 갈 수 없습니다 . $g(x) = 0 \implies f(x) = 0$ $h$ $h'$ $0$ $g$ $f$ $gh = f$ $0$

이제 와 돌아가서 RND를 표시 하자 . 만약 반대로,이 직관적으로 하나가 다른으로 재 스케일링 될 수 있다는 것을 의미하며, 그 반대. 그러나 일반적으로 우리는 이것과 함께 한 방향으로 가고 싶습니다 (즉, Lebesgue 측정 값과 같은 멋진 측정 값을보다 추상적 인 측정 값으로 다시 조정) 유용한 작업을 수행 하려면 만 있으면 됩니다. 이 크기 조정은 RND의 핵심입니다. $\mu$ $\nu$ $f$ $\mu \sim \nu$ $\mu \gg \nu$

주석에서 @whuber의 요점으로 돌아가서 문제를 무시하는 것이 안전한 이유에 대한 추가 미묘한 점이 있습니다 . 측정 값을 사용하면 측정 값 세트까지만 정의 하므로 모든 세트 에서 RND가 같은 값을 갖도록 할 수 있기 때문 입니다. 따라서 이 본질적으로 안전하지는 않지만 이있는 곳은 wrt 측정 세트 이므로 RND를 아무런 영향을 미치지 않고 멋진 것으로 정의 할 수 있습니다. $0/0$ $0$ $A$ $\mu(A) = 0$ $1$ $0/0$ $0/0$ $0$ $\mu$

예로서, 가정 일부 . 그런 다음 그래서 는 RND이다 (이것은 측정 정리의 변화에 의해보다 공식적으로 정당화 될 수있다). 스케일링 계수를 정확하게 복구했기 때문에 좋습니다. $k \cdot \mu = \nu$ $k > 0$

ν (A) = \int_{A} d ν = \int_{A} k d μ

$\nu(A) = \int_A \,\text d\nu = \int_A k \,\text d \mu$

f (x) = k = \frac{d ν}{d μ}

$f(x) = k = \frac{\text d\nu}{\text d\mu}$

다음은 측정 값 세트에서 RND를 변경해도 영향을 미치지 않는 방법을 강조하기위한 두 번째 예 입니다. 보자 , 즉, 그것은 표준 정규 PDF 플러스의 입력이 합리적이고, 허락한다면 이 밀도 RV합니다. 이것은 따라서 실제로 는 여전히 표준 가우스 RV입니다. 측정 값 wrt 이므로 에서 를 변경하는 방식으로 분포에 영향을 미치지 않았습니다. $0$ $f(x) = \varphi(x) + 1_{\mathbb Q}(x)$ $1$ $X$

P (X \in A) = \int_{A} (φ + 1_{Q}) d λ

$P(X \in A) = \int_A \left(\varphi + 1_{\mathbb Q}\right) \,\text d\lambda$

= \int_{A} φ d λ + λ (Q) = \int_{A} φ d λ

$= \int_A \varphi \,\text d\lambda + \lambda\left(\mathbb Q \right) =\int_A \varphi \,\text d\lambda$

X

$X$

X

$X$

Q

$\mathbb Q$

0

$0$

λ

$\lambda$ .

마지막 예제로 및 를 가정하고 와 각각의 분포로 하자 . 호출은 PMF는 계수 측정에 대하여 RND 것을 , 이후 특성을 갖는다 그것이 밝혀 $X \sim \text{Pois}(\eta)$ $Y \sim \text{Bin}(n, p)$ $P_X$ $P_Y$ $c$ $c$ $c(A) = 0 \iff A = \emptyset$

\frac{d P_{Y}}{d P_{X}} = \frac{d P_{Y} / d c}{d P_{X} / d c} = \frac{f_{Y}}{f_{X}}

$\frac{\text dP_Y}{\text dP_X} = \frac{\text dP_Y / \text dc}{\text dP_X / \text dc} = \frac{f_Y}{f_X}$

그래서 우리는 계산할 수 있습니다

P_{Y} (A) = \int_{A} d P_{Y}

$P_Y(A) = \int_A \,\text dP_Y$

= \int_{A} \frac{d P_{Y}}{d P_{X}} d P_{X} = \int_{A} \frac{d P_{Y}}{d P_{X}} \frac{d P_{X}}{d c} d c

$= \int_A \frac{\text dP_Y}{\text dP_X}\,\text dP_X = \int_A \frac{\text dP_Y}{\text dP_X}\frac{\text dP_X}{\text dc}\,\text dc$

= \sum_{y \in A} \frac{d P_{Y}}{d P_{X}} (y) \frac{d P_{X}}{d c} (y) = \sum_{y \in A} \frac{f_{Y} (y)}{f_{X} (y)} f_{X} (y) = \sum_{y \in A} f_{Y} (y) .

$= \sum_{y \in A} \frac{\text dP_Y}{\text dP_X}(y)\frac{\text dP_X}{\text dc}(y) = \sum_{y \in A} \frac{f_Y(y)}{f_X(y)}f_X(y) = \sum_{y \in A} f_Y(y).$

따라서 지원 하는 모든 에 대해 이기 때문에 , 포이 슨 분포와 관련하여 이항 분포와의 통합으로의 스케일을 재조정 할 수 있습니다. 비록 모든 것이 불연속 적이기 때문에 사소한 것처럼 보입니다. 결과. $P(X = n) > 0$ $n$ $Y$

더 일반적인 질문에 답변했지만 KL 분기에 대해서는 언급하지 않았습니다. 적어도 저에게 KL 발산은 @kjetil b halvorsen의 대답과 같은 가설 테스트 측면에서 훨씬 쉽게 해석 할 수 있습니다 . 만약 및 측정 존재 후 모두 사용 지배 밀도가있는 폼을 복구 할 수 있기 때문에 더 쉽게 찾을 수 있습니다. $P \ll Q$ $\mu$ $\frac{\text dP}{\text dQ} = \frac{\text dP / \text d\mu}{\text dQ / \text d\mu} := p / q$

— jld
소스

나는이 설명을 즐겼지만 (내가 기고 한 모든 것을 즐기면서) 이 어떤 의미가 있다는 (반복 된) 주장에 근거한 것처럼 보이지만 그렇지 않다. 실제 값의 함수에서는 자동으로 발생하지 않는 측정 값이 발생합니다. 측정 값 세트에서 발생하는 작업은 무시해도됩니다. 이것이 Radon-Nikodym 미분 설정에서 을 의미하지 않는 방법 입니다.

0 / 0

$0/0$

0 / 0

$0/0$

— whuber

@ whuber는 의견을 보내 주셔서 감사합니다. 실제로 도움이됩니다. 나는 그것을 해결하기 위해 업데이트하려고 노력했다

— jld