정보 기하학의 설명

이 질문은 Amari 의 곡선 형 지수 패밀리 곡률 및 정보 손실의 차등 형상에 관한 것 입니다.

텍스트는 다음과 같습니다.

하자 수 좌표계 함께 확률 분포의 차원 매니 , 으로 가정합니다 ... $S^n=\{p_{\theta}\}$ $n$ $\theta=(\theta_1,\dots,\theta_n)$ $p_{\theta}(x)>0$

우리는 모든 점 간주있다 의 함수 담지 의 ... $\theta$ $S^n$ $\log p_{\theta}(x)$ $x$

하자 의 탄젠트 공간 될 에서 , 인, 대략 말하면, 작은 이웃의 선형화 된 버전 식별 에서 . 하자 의 자연 기초가 는 좌표 시스템과 관련된 ... $T_{\theta}$ $S^n$ $\theta$ $\theta$ $S^n$ $e_i(\theta), i=1,\dots,n$ $T_{\theta}$

각 지점 이후 의 함수 운반 의 , 간주하는 자연 에서 함수 표현으로 $\theta$ $S^n$ $\log p_{\theta}(x)$ $x$ $e_i(\theta)$ $\theta$

{이자형}_{나는} (θ) = \frac{\partial}{\partial θ_{나는}} 로그 피_{θ} (엑스) .

$e_i(\theta)=\frac{\partial}{\partial\theta_i}\log p_{\theta}(x).$

나는 마지막 진술을 이해하지 못한다. 이것은 위에서 언급 한 논문의 섹션 2에 나타납니다. 접선 공간의 기초는 위의 방정식으로 어떻게 주어 집니까? 이런 종류의 자료에 익숙한이 커뮤니티의 누군가가 이것을 이해하도록 도울 수 있다면 도움이 될 것입니다. 감사.

업데이트 1 :

가 선형 적으로 독립적 인 경우 동의하지만 (@aginensky에서) 또한 선형 적으로 독립적이며, 처음에 탄젠트 공간의 멤버가 어떻게 명확하지 않은지. 어떻게 탄젠트 공간의 기초로 간주 할 수 있습니다. 도움을 주시면 감사하겠습니다. $\frac{\partial}{\partial\theta_i}p_{\theta}$ $\frac{\partial}{\partial\theta_i}\log p_{\theta}$ $\frac{\partial}{\partial\theta_i}\log p_{\theta}$

업데이트 2 :

@aginensky : 그의 책 Amari는 다음과 같이 말합니다.

대한 모든 (엄격한) 긍정적 확률 척도 인 인 경우를 생각해 봅시다. 여기서 은 . 실제로 은 affine space 의 열린 하위 집합입니다 . $S^n=\mathcal{P}(\mathcal{X})$ $\mathcal{X}=\{x_0,\dots,x_n\}$ $\mathcal{P}(\mathcal{X})$ $\mathbb{R}^{\mathcal{X}}=\{X\big|X:\mathcal{X}\to \mathbb{R}\}$ $\mathcal{P}(\mathcal{X})$ $\{X\big |\sum_x X(x)=1\}$

그러면 모든 지점에서 의 접선 공간 은 선형 부분 공간 자연스럽게 식별 될 수 있습니다 . 자연 기저 coordiante 시스템 , 우리가 . $T_p(S^n)$ $S^n$ $\mathcal{A}_0=\{X\big |\sum_x X(x)=0\}$ $\frac{\partial}{\partial\theta_i}$ $\theta=(\theta_1,\dots,\theta_n)$ $(\frac{\partial}{\partial\theta_i})_{\theta}=\frac{\partial}{\partial\theta_i}p_{\theta}$

다음으로, 우리가 다른 내장 보자 , 및 식별 부분 집합으로 의 . 그러면 의 접선 벡터 는 를 한 결과로 표현 되며 됩니다. 특히 있습니다. 이 명백하다 과 그 $p\mapsto \log p$ $S^n$ $\log S^n:=\{\log p\big |p\in S^n\}$ $\mathbb{R}^{\mathcal{X}}$ $X\in T_p(S^n)$ $X$ $p\mapsto \log p$ $X^{(e)}$ $(\frac{\partial}{\partial\theta_i})_{\theta}^{(e)}=\frac{\partial}{\partial\theta_i}\log p_{\theta}$ $X^{(e)}=X(x)/p(x)$

티_{피}^{(이자형)} ({에스}^{엔}) = {{엑스}^{(이자형)} | 엑스 \in 티_{피} ({에스}^{엔})} = {ㅏ \in {아르 자형}^{엑스} | \sum_{엑스} ㅏ (엑스) 피 (엑스) = 0} .

$T_p^{(e)}(S^n)=\{X^{(e)}\big |X\in T_p(S^n)\}=\{A\in \mathbb{R}^{\mathcal{X}}\big |\sum_x A(x)p(x)=0\}.$

내 질문 : 및 가 접선 공간의 기초라면 이것이 실제로 그 및 이다 뚜렷하고 ? $\frac{\partial}{\partial\theta_i}$ $(\frac{\partial}{\partial\theta_i})^{(e)}$ $T_p$ $T_p^{(e)}$ $\frac{\partial}{\partial\theta_i}^{(e)}\in T_p^{(e)}$

( )와 사이에 연관성이있는 것 같습니다 . 이것을 명확히 할 수 있다면 큰 도움이 될 것입니다. 답변으로 제공 할 수 있습니다. $S^n,T_p$ $(\log S^n,T_p^{(e)})$

— 아 ok
소스

개인적으로, 나는 당신의 혼란을 이해합니다. 접선 공간에 좌표 " " 를 사용하는 것은 당연하지 않습니다 . 귀하의 질문은 로컬이므로 택시는 를 로컬 좌표로 사용합니다. 탄젠트 공간의 일반적인 좌표는 입니다. 의 평활도, 사라지지 않는 파생물 등에 대한 합리적인 조건이 주어지면 체인 규칙에 따라 접선 공간의 표준 기반을 취하고 기능에 곱하는 것이 일반적입니다. .

e_{i} (θ) = \frac{\partial}{\partial θ_{i}} \log p_{θ} (x)

$e_i(\theta)=\frac{\partial}{\partial\theta_i}\log p_{\theta}(x)$

θ_{i}

$\theta_{i}$

\frac{\partial}{\partial θ_{i}}

$\frac{\partial}{\partial\theta_i}$

p_{θ}

$p_{\theta}$

— meh

명확성을 위해 내 의견을 편집하려고 시도했지만 허용되지 않았습니다. 자세한 내용을 원하시면 알려주세요.

— meh

감사합니다 @aginensky : , 이것은 탄젠트 공간의 기초이기도합니다.

\frac{\partial}{\partial θ_{i}} \log p_{θ} (x) = 1 / p_{θ} (x) \frac{\partial}{\partial θ_{i}} p_{θ} (x)

$\frac{\partial}{\partial\theta_i}\log p_{\theta}(x)=1/p_{\theta}(x)\frac{\partial}{\partial\theta_i}p_{\theta}(x)$

— Ashok

마지막 문장은 탄젠트 공간에 대한 하나의 정의 의 (손상된) 버전입니다 . 엄밀히 말하면, 분화 가능한 매니 폴드 지점의 접선 공간은 해당 지점 부근에서 분화 가능한 기능의 세균의 유도 공간에 이중 인 (벡터 공간)입니다. 이중위한 기초가 및 정의 는 듀얼 기초이다. 이 자료에 대한 표준 참조는 Michael Spivak의 Differential Geometry , amazon.com/… 의 Volume 1입니다 .

{d θ_{i}}

$\{d\theta_i\}$

{\frac{\partial}{\partial θ_{i}}}

$\{\frac{\partial}{\partial\theta_i}\}$

— whuber

@ 아 ok-네. 나는 탄젠트 공간에 대한 하나의 정의의 간결한 버전을 기반으로 작성한 것을 고려할 것입니다. 물론, 코탄젠트 공간이 탄젠트 공간에 이중이기 때문에, 는 진정한 이중 기반 이라고 주장 할 수있다 . 어떤 경우에도 한과에서 사라하지 않습니다, 나는 당신에게있는 거 좋은 생각합니다.

d θ

$d\theta$

p_{θ}

$p_{\theta}$

— meh

내 의견이 너무 길어서 답변으로 넣었습니다.

저는 지금이 질문이 수학보다 철학적이라고 생각합니다. 즉, 공간 과이 경우 매니 폴드는 무엇을 의미합니까? 매니 폴드의 일반적인 정의는 아핀 공간에 포함되지 않습니다. 이것이 '현대'(150 년 전) 접근 방식입니다. 예를 들어, Gauss의 경우 매니 폴드는 특정 아핀 공간 ( )에 특정 임베딩 이있는 매니 폴드입니다 . 특정 포함 된 매니 폴드가있는 경우 접선 공간 (매니 폴드의 모든 지점에서)은 해당 지점에서 접선 공간의 특정 하위 공간에 대해 과 동형 입니다. 언제든 에 대한 탄젠트 공간 은 '동일한' 식별됩니다 . $R^n$ $R^n$ $R^n$ $R^n$ $R^n$

요점은 아마리 (Amari) 기사에서 그가 으로 언급 한 공간 이 를 고려할 수있는 좌표를 가진 아핀 공간에 '자연적인'임베딩이 포함되어 있다는 것입니다. 의 탄젠트 공간상의 좌표로서 . 함수 가 어떤 의미에서 변성 대해 '일반적'인 경우에만 명확하다는 것을 추가 할 수 있습니다. 이는 실패합니다. 예를 들어, 함수는 모든 변수를 포함하지 않은 경우 . 요점은 특정 매니 폴드를 삽입 하면 를 사용하여 탄젠트 공간을 구체적으로 식별 할 수 있다는 것입니다. $S^n$ $\theta_{i}$ $p_{\theta}$ $S^n$ $p$ $p$ $\theta_{i}$ $R^n$ $p_{\theta}$ . 그의 다음 요점은 의 속성으로 인해 log 함수를 사용하여 접선 공간이 새로운 좌표 (로그 및 그 파생어) 측면에서 다른 식별 공간을 갖는 다른 affine 공간에 매핑 할 수 있다는 것입니다. 그는 자신의 상황의 특성 때문에 두 매니 폴드는 동형이며 맵은 탄젠트 공간에서 동형을 유발한다고 말합니다. 이는 2 개의 접선 공간의 식별 (즉, 동형)을 초래한다. $p$

핵심 아이디어는 두 개의 접선 공간이 동일한 세트가 아니지만 올바른 식별 후 동형 (기본적으로 '동일'의 그리스어 임)이라는 것입니다. 예를 들어 의 모든 순열 그룹이 의 모든 순열 그룹과 '동일한'그룹 입니까? 간단한 사고 실험으로, 맵 로그 아래의 모든 실수 인 양의 실수를 맵핑하는 고려 하십시오. 자주 사용하는 실수 하고 접선 공간에있는지도를 고려하십시오. 나는 당신의 질문을 마침내 이해하고 있습니까? 주의 할 점은, 즉 차등 형상이 저의 주요 전문 분야가 아니라는 것입니다. 나는 그것이 옳았다 고 생각하지만,이 대답에 대해 비판하거나 여전히 의문을 갖습니다. $\{1,2,3\}$ $\{a,b,c\}$ $R^{+}$ $R$ $>0$

— meh
소스

"동형"이라는 의미는 명확하지 않지만 매우 약한 것 같습니다. 즉, 뒤집을 수없는 차별화 가능한 맵 의 푸시 포워드 에 의해 주어진 것인데, 이것은 단지 뒤집을 수없는 선형 변환입니다. 지오메트리 를 수행하는 핵심 아이디어 는 매니 폴드에 정의 된 의미 있고 유용한 Riemanninan 메트릭 을 얻는 것 입니다. " 등방성 "의 관련 의미는 등거리 측정법입니다 . 즉, 탄젠트 공간 사이의 맵은 거리를 유지해야합니다.

f_{*}

$f_{*}$

— whuber

@whuber. 실제로, 나의 의견은 상황과 탄젠트 공간의 차동 지오메트리에만 관한 것입니다. 지도를 등거리 변환으로 만드는 데 어떤 조건이 필요한지 전혀 명확하지 않습니다 . 그러나 내가 그 질문을 이해함에 따라, 그것은 식별 ( '같은')과 동형의 차이점이 무엇인지를 실제로 이해하고있었습니다.

p

$p$

— meh

@whuber : 여기서 관련 Riemannian 메트릭은 로 주어집니다 . 여기서 . 이것이 가 탄젠트 벡터로 간주 될 수 있다고 제안합니까 ?

G = [g_{i, j}]

$G=[g_{i,j}]$

g_{i, j} = \sum_{x} \partial_{i} p_{θ} (x) \partial_{j} \log p_{θ} (x)

$g_{i,j}=\sum_x\partial_i p_{\theta}(x)~\partial_j\log p_{\theta}(x)$

\partial_{j} \log p_{θ}

$\partial_j\log p_{\theta}$

— Ashok