점별 상호 정보에 대한 경계가 주어진 경계 상호 정보

두 세트의 $X$ 와 $Y$ 있고 이러한 세트 대한 결합 확률 분포 가 있다고 가정 합니다 $p(x,y)$ . 하자 $p(x)$ 와 $p(y)$ 위에 한계 분포 나타내는 $X$ 및 $Y$ 각각있다.

$X$ 와 사이의 상호 정보 $Y$ 는 다음 과 같이 정의됩니다 :

I (X; Y) = \sum_{x, y} p (x, y) \cdot \log (\frac{p (x, y)}{p (x) p (y)})

$I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right)$

즉, 이는 포인트 별 상호 정보 pmi 의 평균값입니다. $(x,y) \equiv \log\left(\frac{p(x,y)}{p(x)p(y)}\right)$ .

pmi 상한과 하한을 알고 있다고 가정합니다 . 즉 모든 는 다음을 보유 한다는 것을 알고 있습니다. $(x,y)$ $x,y$

- k \leq \log (\frac{p (x, y)}{p (x) p (y)}) \leq k

$-k \leq \log\left(\frac{p(x,y)}{p(x)p(y)}\right) \leq k$

이것의 상한은 합니다. 물론 그것은 을 의미하지만 가능하면 더 엄격한 경계를 원합니다. p가 확률 분포를 정의하고 pmi 가 및 의 모든 값에 대해 최대 값을 가질 수 없거나 음수가 아닐 수도 있기 때문에 이것은 그럴듯 해 보입니다 . $I(X; Y)$ $I(X; Y) \leq k$ $(x,y)$ $x$ $y$

entropy mutual-information information-theory

— 플로리안
소스

관절 확률과 한계 확률이 균일하면 pmi (

)는 균일하게 0이므로 음수가 아니므로 마지막 진술과 모순되지만 간신히 나타납니다. 내가 실수하지 않은 경우,

의 작은 하위 집합에 대해이 상황을 혼란스럽게하는 것은 pmi의 경계가

자체에 대해 거의 아무것도 말하지 않는다는 것을 나타냅니다 .

x

$x$

y

$y$

X \times Y

$X \times Y$

I (X; Y)

$I(X;Y)$

— whuber

실제로

와

가 독립적이면 한계 분포에 관계없이

는 일정합니다. 따라서

가 모든

및

대한 최대 값을 얻는 전체 분포 클래스

가 있습니다.

X

$X$

Y

$Y$

p m i (x, y)

$\mathrm{pmi}(x,y)$

p (x, y)

$p(x,y)$

p m i (x, y)

$\mathrm{pmi}(x,y)$

x

$x$

y

$y$

— 추기경

예, pmi

가 모든

및

대해 같을 수는 있지만, 더 엄격한 범위를 배제하지는 않습니다. 예를 들어, 증명 어려운 아니라고

. 이다

경우

및 상기 바인딩의 비 단순 강화 인

. 더 일반적으로 적용되는 사소한 경계가 있는지 궁금합니다.

(x, y)

$(x,y)$

x

$x$

y

$y$

I (X; Y) \leq k (e^{k} - 1)

$I(X; Y) \leq k(e^k-1)$

\approx k^{2}

$\approx k^2$

k < 1

$k < 1$

k

$k$

k < 1

$k < 1$

— 플로리안

대해

보다 더 나은 경계를 갖게 될 것 같습니다 . 더 어려워 보이고 싶다면 p (x) p (y)와 p (x, y) 사이의 KL 차이 측면에서 질문을 재구성하십시오. Pinsker의 불평등은 MI의 하한을 제공하여 직감을 확인할 수 있습니다. ajmaa.org/RGMIA/papers/v2n4/relog.pdf의 섹션 4도 참조하십시오 .

O (k^{2})

$O(k^2)$

k \to 0

$k \to 0$

— vqv

답변:

나의 공헌은 예입니다. 포인트 별 상호 정보에 대한 경계가 주어지면 상호 정보가 어떻게 제한 될 수 있는지에 대한 몇 가지 한계를 보여줍니다.

모든 및 을 취하십시오 . 임의의 경우 하자 방정식의 해결책 일 수 $X = Y = \{1,\ldots, n\}$ $p(x) = 1/n$ $x \in X$ $m \in \{1,\ldots, n/2\}$ $k > 0$

m e^{k} + (n - m) e^{- k} = n .

$m e^{k} + (n - m) e^{-k} = n.$ 그럼 장소 지점 질량

에서

제품 공간에서 포인트

이되는 방식으로

의 각 행과 각 열에 이러한 점. (여러 가지 방법으로 수행 할 수 있습니다. 예를 들어, 첫 번째 행에서 첫 번째

포인트로 시작한 다음 각 행에 대해 주기적 경계 조건으로

포인트를 오른쪽으로 이동하여 나머지 행을 채 웁니다 ). 우리는 점 질량 배치

(가) 나머지에

e^{k} / n^{2}

$e^k / n^2$

n m

$nm$

{1, \dots, n}^{2}

$\{1,\ldots,n\}^2$

m

$m$

m

$m$

m

$m$

e^{- k} / n^{2}

$e^{-k}/n^2$

포인트. 이 점 질량의 합은

n^{2} - n m

$n^2 - nm$

그들은 확률 측정치를 제공되도록. 모든 한계점 확률은

\frac{n m}{n^{2}} e^{k} + \frac{n^{2} - n m}{n^{2}} e^{- k} = \frac{m e^{k} + (n - m) e^{- k}}{n} = 1,

$\frac{nm}{n^2} e^{k} + \frac{n^2 - nm}{n^2} e^{-k} = \frac{me^k + (n-m)e^{-k}}{n} = 1,$

이렇게 두 한계 분포가 균일하다.

\frac{m}{n^{2}} e^{k} + \frac{m - n}{n^{2}} e^{- k} = \frac{1}{n},

$\frac{m}{n^2} e^{k} + \frac{m - n}{n^2} e^{-k} = \frac{1}{n},$

구조상 아무것도 없는지 모든 , 및 (어떤 계산 후) $\mathrm{pmi}(x,y) \in \{-k,k\},$ $x,y \in \{1,\ldots,n\}$

I (X; Y) = k \frac{n m}{n^{2}} e^{k} - k \frac{n^{2} - n m}{n^{2}} e^{- k} = k (\frac{1 - e^{- k}}{e^{k} - e^{- k}} (e^{k} + e^{- k}) - e^{- k}),

$I(X;Y) = k \frac{nm}{n^2} e^{k} - k \frac{n^2 - nm}{n^2} e^{-k} = k\Big(\frac{1-e^{-k}}{e^k - e^{-k}} (e^k + e^{-k}) - e^{-k}\Big),$

k^{2} / 2

$k^2 / 2$

k \to 0

$k \to 0$

k

$k$

k \to \infty

$k \to \infty$

— NRH
소스

I'm not sure if this is what you are looking for, as it is mostly algebraic and not really leveraging the properties of p being a probability distribution, but here is something you can try.

Due to the bounds on pmi, clearly $\frac{p(x,y)}{p(x)p(y)}\leq e^k$ and thus $p(x,y)\leq p(x)p(y)\cdot e^k$ . We can substitute for $p(x,y)$ in $I(X;Y)$ to get $I(X;Y)\leq \sum_{x,y}p(x)p(y)\cdot e^k\cdot log(\frac{p(x)p(y)\cdot e^k}{p(x)p(y)}) = \sum_{x,y}p(x)p(y)\cdot e^k\cdot k$

I'm not sure if that's helpful or not.

EDIT: Upon further review I believe this is actually less useful than the original upper bound of k. I won't delete this though in case it might hint at a starting point.

— Michael McGowan
소스

The value of this bound becomes apparent after you note

\sum_{x, y} p (x) p (y) = 1

$\sum_{x,y}p(x)p(y)=1$ and (since

k \geq 0

$k \ge 0$ ) that

e^{k} \geq 1

$e^k \ge 1$ .

— whuber

Yes, when I realized that I made my edit.

— Michael McGowan