매니 폴드에 대한 통계의 그래픽 직관

에 이 게시물에 , 당신은 문을 읽을 수 있습니다 :

모델은 일반적으로 유한 치수 매니 폴드에서 점 표시됩니다 $\theta$.

에 미분 기하학과 통계 마이클 K 머레이, 존 W 라이스 이러한 개념을 읽을 심지어 수학 표현식을 무시 산문에 설명되어 있습니다. 불행히도, 삽화가 거의 없습니다. MathOverflow에 대한 이 게시물도 마찬가지입니다.

주제에 대한보다 공식적인 이해를위한지도 또는 동기 부여 역할을하는 시각적 표현에 대한 도움을 요청하고 싶습니다.

매니 폴드의 요점은 무엇입니까? 이 온라인 find의 인용문 은 데이터 포인트 또는 분포 매개 변수 일 수 있음을 나타냅니다.

매니 폴드 및 정보 형상에 대한 통계는 차등 형상이 통계를 충족시키는 두 가지 방법입니다. 매니 폴드에 대한 통계에서는 매니 폴드에있는 데이터이고, 정보 구조에서는 데이터가 $R^n$ 에 있지만 매개 변수화 된 확률 밀도 함수 계열은 매니 폴드로 처리됩니다. 이러한 매니 폴드를 통계 매니 폴드라고합니다.

---

나는 탄젠트 공간이 설명에서 영감을이 그림 그린 여기를 :

[ 편집 대해 아래 주석 반영 :$C^\infty$ 매니 폴드, 일] 의 탄젠트 공간 모든 가능한 유도체 ( "속도")의 집합 점으로 인 과 연관된을 통과하는 매니 폴드에서 가능한 모든 곡선이것은 가로 지르는 모든 곡선 즉 컴포지션 로 정의 된 까지의 맵 집합으로 볼 수 있습니다 . 함께 매니 폴드의 표면에 실제 선에서 곡선 (기능을 나타내는p∈ M (ψ: R → M )p. p, C ∞ (t)→ R , ( f ∘ ψ ) ′ (t)ψ M p,f,f$(\mathcal M)$$p\in \mathcal M$$(\psi: \mathbb R \to \mathcal M)$$p.$$p,$$C^\infty (t)\to \mathbb R,$$\left(f \circ \psi \right )'(t)$$\psi$$\mathcal M$) 포인트 를 통과하고 위의 다이어그램에서 빨간색으로 표시됩니다. 및 테스트 기능을 나타내는. "iso- "흰색 등고선은 실제 선의 동일한 점에 매핑되고 점 둘러 쌉니다 .$p,$$f,$$f$$p$

동등성 (또는 통계에 적용되는 동등성 중 하나)은 여기 에서 설명 되며 다음 인용문 과 관련이 있습니다 .

지수 가족을위한 매개 변수 공간이 포함되어있는 경우 차원 개방 세트를, 다음은 전체 순위라고합니다.$s$

전체 순위가 아닌 지수 패밀리는 일반적으로 곡선 지수 패밀리라고합니다. 일반적으로 매개 변수 공간은 보다 작은 의 곡선입니다 의$\mathcal R^s$$s.$

이것은 다음과 같이 플롯을 해석하는 것처럼 보입니다. 분포 매개 변수 (이 경우 지수 분포 패밀리의 경우)는 매니 폴드에 있습니다. 의 데이터 포인트 는 순위가 부족한 비선형 최적화 문제인 경우 함수를 통해 매니 폴드의 라인에 매핑됩니다 . 이것은 물리학에서의 속도 계산과 평행을 이룰 것입니다 : "iso-f"선의 그라디언트를 따라 함수 의 미분을 찾으십시오 (오렌지의 방향 미분) :함수 은 분포 매개 변수의 선택을 곡선 로 최적화하는 역할을합니다. ψ : R → M f ( f ∘ ψ ) ' ( t ) . f : M → R ψ $\mathbb R$$\psi: \mathbb R \to \mathcal M$$f$$\left(f \circ \psi \right)'(t).$$f: \mathbb M \to \mathbb R$$\psi$매니 폴드 에서 등고선을 따라 이동합니다 .$f$

---

추가 된 스터프 :

참고로, 이러한 개념은 ML의 비선형 차원 축소 와 즉시 관련이 없다고 생각 합니다 . 그들은 정보 기하학 과 더 유사하게 보인다 . 인용문은 다음과 같습니다.

중요하게, 매니 폴드에 대한 통계는 매니 폴드 학습과 매우 다릅니다. 후자는 기계 학습의 한 지점으로 값 데이터 에서 잠재 매니 폴드를 학습하는 것이 목표입니다 . 일반적으로, 찾는 잠복 매니 폴드의 치수는 미만 입니다. 잠재 매니 폴드는 사용되는 특정 방법에 따라 선형 또는 비선형 일 수있다.$R^n$$n$

---

와 매니 폴드에 대한 통계에서 다음과 같은 정보 모델링 모양 변형에 응용 프로그램 에 의해 오렌 Freifeld :

반면 일반적으로 비선형이며, 우리로 나타낸 접선 공간을 연결할 수있는 의 모든 포인트에, . 은 치수가 의 치수와 동일한 벡터 공간입니다 . 의 기원 에있다 . 만약 이 어떤 유클리드 공간에 내장 된다면 , 우리는 과 같이 아핀 부분 공간으로 생각할 수 있다 : 1) 에서 과 접촉 하고 ; 2) 적어도 국부적으로, 은 그것의 한쪽에 완전히 놓여 있습니다. TpM의 요소를 탄젠트 벡터라고합니다.T p M p ∈ M T p M M T p M p M T p M M p $M$$TpM$$p \in M$$TpM$$M$$TpM$$p$$M$$TpM$$M$$p$$M$

[...] 매니 폴드에서 통계 모델은 접선 공간으로 표현되는 경우가 많습니다.

[...]

[우리는 두 개의 데이터 세트를 의 포인트로 구성한다] :$M$

$D_L = \{p_1, \cdots , p_{NL}\} \subset M$ ;

$D_S = \{q_1, \cdots , q_{NS}\} \subset M$

과 가 에서 두 개의 알려지지 않은 점을 나타내 하자 . 두 데이터 세트가 다음 통계 규칙을 충족한다고 가정합니다.$µ_L$$µ_S$$M$

$\{\log_{\mu L} (p_1), \cdots , \log_{\mu L}(p_{NL})\} \subset T_{\mu L}M, \quad \log_{\mu L}(p_i) \overset{\text{i.i.d}}{\sim} \mathscr N(0, \Sigma_L)$ $\{\log_{\mu S} (q_1), \cdots , \log_{\mu S}(q_{NS})\} \subset T_{\mu S}M, \quad \log_{\mu S}(q_i) \overset{\text{i.i.d}}{\sim} \mathscr N(0, \Sigma_S)$

[...]

즉, (접선 공간 (접선 벡터로) 표현 AT) ,는 제로 평균 가우시안 공분산와 IID의 샘플 세트로 볼 수있다 . 마찬가지로, 가 의 탄젠트 공간에서 표현 되면 공분산이 제로 평균 가우시안의 iid 샘플 세트로 볼 수 있습니다 . 이것은 유클리드 사건을 일반화합니다.$D_L$$M$$\mu_L$$\Sigma_L$$D_S$$\mu_S$$\Sigma_S$

같은 참고 자료에서 필자가 요구하는이 그래픽 개념과 가장 가까운 (실제로 만) 온라인 예제를 찾습니다.

이것은 데이터가 탄젠트 벡터로 표현 된 매니 폴드의 표면에 있고 매개 변수는 데카르트 평면에 매핑 될 것입니까?

확률 분포 군은 분포의 모수 에 해당하는 고유 좌표를 가진 매니 폴드의 점으로 분석 할 수 있습니다 . 아이디어는 잘못된 메트릭으로 표현을 피하는 것입니다. 단 변량 가우스 는 아래 그림의 오른쪽 에서와 같이 Euclidean 매니 폴드에 점으로 표시 될 수 있습니다. 축의 평균 과 축의 SD를 사용하여 (분산을 플로팅하는 경우 양의 반) :$(\Theta)$$\mathcal N(\mu,\sigma^2),$$\mathbb R^2$$x$$y$

그러나 항등 행렬 (유클리드 거리)은 개별 와의 차이 (비 유사성)를 측정하지 못합니다 . 평균이 고정 된 경우에도 분산이 적은 가우시안 곡선의 경우 겹치지 않는 영역 (진한 파란색)이 더 큽니다. 실제로 통계적 매니 폴드에 대해 "이해"하는 유일한 리만 통계는 Fisher 정보 지표 입니다.$\mathrm{pdf}$

에서는 피셔 정보 거리 : 기하학적 판독 코스타 SI 산토스 SA 및 Strapasson JE는 유사도 활용 가우스 분포 피셔 정보 행렬 및 메트릭 벨트 라미-Pointcaré 디스크 모델 밀폐 식을 유도하기 위해.

쌍곡선 의 "north"원뿔은 비 유클리드 매니 폴드가되며, 여기서 각 점은 평균 및 표준 편차 (매개 변수 공간)와 가장 짧은 거리에 해당합니다. 예를 들어 와 는 측지선 곡선으로, 적도면에 과포화 선으로 투영되고 (차트 맵) , 메트릭 텐서를 통해 사이의 거리를 측정 할 수 있습니다. - Fisher 정보 지표 :$x^2 + y^2 - x^2 = -1$$\mathrm {pdf's,}$$P$$Q,$$\mathrm{pdf's}$$g_{\mu\nu}\;(\Theta)\;\mathbf e^\mu\otimes \mathbf e^\nu$

$$D\,\left ( P(x;\theta_1)\,,\,Q(x;\theta_2) \right)=\min_{\theta(t)\,|\,\theta(0)=\theta_1\;,\;\theta(1)=\theta_2}\;\int_0^1 \; \sqrt{\left(\frac{\mathrm d\theta}{\mathrm dt} \right)^\top\;I(\theta)\frac{\mathrm d \theta}{\mathrm dt}dt}$$

와

$$I(\theta) = \frac{1}{\sigma^2}\begin{bmatrix}1&0\\0&2 \end{bmatrix}$$

쿨백 - 라이 블러 발산은 밀접한 형상 결여와 연관된 메트릭이라도 관련된다.

Fisher 정보 매트릭스는 Shannon 엔트로피 의 Hessian으로 해석 될 수 있습니다 .

$$g_{ij}(\theta)=-E\left[ \frac{\partial^2\log p(x;\theta)}{\partial \theta_i \partial\theta_j} \right]=\frac{\partial^2 H(p)}{\partial \theta_i \partial \theta_j}$$

와

$$H(p) = -\int p(x;\theta)\,\log p(x;\theta) \mathrm dx.$$

이 예제는 개념적으로보다 일반적인 입체 지구지도 와 유사 합니다 .

ML 다차원 임베딩 또는 매니 폴드 학습은 여기서 다루지 않습니다.

확률을 지오메트리에 연결하는 방법은 여러 가지가 있습니다. 타원형 분포 (예 : 가우시안)에 대해 들어봤을 것입니다 . 용어 자체는 지오메트리 링크를 의미 하며 공분산 행렬 을 그릴 때 분명합니다 . 매니 폴드를 사용하면 가능한 모든 매개 변수 값을 좌표계에 배치하기 만하면됩니다. 예를 들어 가우스 매니 폴드의 크기는 입니다. 에 값을 가질 수 있지만 양의 분산 있습니다. 따라서 가우스 매니 폴드는 전체 공간 의 절반이 됩니다. 그렇게 재미 있지 않은 μ ∈ R σ 2 > 0 R $\mu,\sigma^2$$\mu\in R$$\sigma^2>0$$R^2$