두 가우스 간의 지구 발동기 거리 (EMD)

과 사이에 EMD에 대한 닫힌 형식의 수식이 있습니까? $x_1\sim N(\mu_1, \Sigma_1)$ $x_2 \sim N(\mu_2, \Sigma_2)$

normal-distribution distance

— 이포 그
소스

en.wikipedia.org/wiki/Earth_mover%27s_distance 에 따르면 EMD는 Mallows 또는 Wasserstein 거리와 동일하므로 googlin을 사용해 볼 수 있습니다.

— kjetil b halvorsen

이 문서가 도움이 될 것입니다 : vldb.org/pvldb/vol5/p205_brianeruttenberg_vldb2012.pdf

— jojer

$\DeclareMathOperator\EMD{\mathrm{EMD}} \DeclareMathOperator\E{\mathbb{E}} \DeclareMathOperator\Var{Var} \DeclareMathOperator\N{\mathcal{N}} \DeclareMathOperator\tr{\mathrm{tr}} \newcommand\R{\mathbb R}$ 지구 이동기의 거리로 기록 될 수있다 $\EMD(P, Q) = \inf \E \lVert X - Y \rVert$ 상하 한이 모든 조인트 분포 점령되어, $X$ 및 $Y$ marginals와 $X \sim P$ , $Y \sim Q$ . 이것은 첫 번째 Wasserstein 거리 로도 알려져 있으며 , 이는 $W_p = \inf \left( \E \lVert X - Y \rVert^p \right)^{1/p}$ 이며 동일한 정보를 갖습니다.

하자 $X \sim P = \N(\mu_x, \Sigma_x)$ , $Y \sim Q = \N(\mu_y, \Sigma_y)$ .

하한 : Jensen의 불평등으로

E ‖ X - Y ‖ \geq ‖ E (X - Y) ‖ = ‖ μ_{x} - μ_{y} ‖,

$\E \lVert X - Y \rVert \ge \lVert \E (X - Y) \rVert = \lVert \mu_x - \mu_y \rVert,$ 규범은 볼록하므로

이므로 EMD는 항상 적어도 수단 사이의 거리 (모든 분포에 대해).

$W_2$ 에 기반한 : Jensen의 불평등에 의해 다시 $\left( \E \lVert X - Y \rVert \right)^2 \le \E \lVert X - Y \rVert^2$ . 따라서 $W_1 \le W_2$ 입니다. 그러나 Dowson and Landau (1982) 는

W_{2} (P, Q)^{2} = ‖ μ_{x} - μ_{y} ‖^{2} + t r (Σ_{x} + Σ_{y} - 2 (Σ_{x} Σ_{y})^{1 / 2}),

$W_2(P, Q)^2 = \lVert \mu_x - \mu_y \rVert^2 + \tr\left( \Sigma_x + \Sigma_y - 2 (\Sigma_x \Sigma_y)^{1/2} \right) ,$

E M D = W_{1}

$\EMD = W_1$ 에 상한값을 지정합니다 .

타이트 상한 : 커플 링을 고려 이것은 Knott and Smith (1984) 에서 파생 된 맵입니다. , 분포의 최적의 맵핑을 최적화 이론 및 용도의 학회지 43 (1) PP 39-49 에 대한 최적의 매핑 등 ; 이 블로그 게시물을 참조하십시오 . 참고 및

\begin{aligned} X & \sim N (μ_{x}, Σ_{x}) \\ Y & = μ_{y} + \underset{A}{\underset{⏟}{Σ_{x}^{- \frac{1}{2}} {(Σ_{x}^{\frac{1}{2}} Σ_{y} Σ_{x}^{\frac{1}{2}})}^{\frac{1}{2}} Σ_{x}^{- \frac{1}{2}}}} (X - μ_{x}) . \end{aligned}

$\begin{align} X &\sim \N(\mu_x, \Sigma_x) \\ Y &= \mu_y + \underbrace{\Sigma_x^{-\frac12} \left( \Sigma_x^\frac12 \Sigma_y \Sigma_x^\frac12 \right)^\frac12 \Sigma_x^{-\frac12}}_A (X - \mu_x) .\end{align}$

W_{2}

$W_2$

A = A^{T}

$A = A^T$

\begin{aligned} E Y & = μ_{y} + A (E X - μ_{x}) = μ_{y} \\ Var Y & = A Σ_{x} A^{T} \\ = Σ_{x}^{- \frac{1}{2}} {(Σ_{x}^{\frac{1}{2}} Σ_{y} Σ_{x}^{\frac{1}{2}})}^{\frac{1}{2}} Σ_{x}^{- \frac{1}{2}} Σ_{x} Σ_{x}^{- \frac{1}{2}} {(Σ_{x}^{\frac{1}{2}} Σ_{y} Σ_{x}^{\frac{1}{2}})}^{\frac{1}{2}} Σ_{x}^{- \frac{1}{2}} \\ = Σ_{x}^{- \frac{1}{2}} (Σ_{x}^{\frac{1}{2}} Σ_{y} Σ_{x}^{\frac{1}{2}}) Σ_{x}^{- \frac{1}{2}} \\ = Σ_{y}, \end{aligned}

$\begin{align} \E Y &= \mu_y + A (\E X - \mu_x) = \mu_y \\ \Var Y &= A \Sigma_x A^T \\&= \Sigma_x^{-\frac12} \left( \Sigma_x^\frac12 \Sigma_y \Sigma_x^\frac12 \right)^\frac12 \Sigma_x^{-\frac12} \Sigma_x \Sigma_x^{-\frac12} \left( \Sigma_x^\frac12 \Sigma_y \Sigma_x^\frac12 \right)^\frac12 \Sigma_x^{-\frac12} \\&= \Sigma_x^{-\frac12} \left( \Sigma_x^\frac12 \Sigma_y \Sigma_x^\frac12 \right) \Sigma_x^{-\frac12} \\&= \Sigma_y ,\end{align}$ 이므로 커플 링이 유효합니다.

거리 다음이다 이제 와 정상 $\lVert X - Y \rVert$ $\lVert D \rVert$

\begin{aligned} D & = X - Y \\ = X - μ_{y} - A (X - μ_{x}) \\ = (I - A) X - μ_{y} + A μ_{x}, \end{aligned}

$\begin{align} D &= X - Y \\&= X - \mu_y - A (X - \mu_x) \\&= (I - A) X - \mu_y + A \mu_x ,\end{align}$

\begin{aligned} E D & = μ_{x} - μ_{y} \\ Var D & = (I - A) Σ_{x} (I - A)^{T} \\ = Σ_{x} + A Σ_{x} A - A Σ_{x} - Σ_{x} A \\ = Σ_{x} + Σ_{y} - Σ_{x}^{- \frac{1}{2}} {(Σ_{x}^{\frac{1}{2}} Σ_{y} Σ_{x}^{\frac{1}{2}})}^{\frac{1}{2}} Σ_{x}^{\frac{1}{2}} - Σ_{x}^{\frac{1}{2}} {(Σ_{x}^{\frac{1}{2}} Σ_{y} Σ_{x}^{\frac{1}{2}})}^{\frac{1}{2}} Σ_{x}^{- \frac{1}{2}} . \end{aligned}

$\begin{align} \E D &= \mu_x - \mu_y \\ \Var D &= (I - A) \Sigma_x (I - A)^T \\&= \Sigma_x + A \Sigma_x A - A \Sigma_x - \Sigma_x A \\&= \Sigma_x + \Sigma_y - \Sigma_x^{-\frac12} \left( \Sigma_x^\frac12 \Sigma_y \Sigma_x^\frac12 \right)^\frac12 \Sigma_x^{\frac12} - \Sigma_x^{\frac12} \left( \Sigma_x^\frac12 \Sigma_y \Sigma_x^\frac12 \right)^\frac12 \Sigma_x^{-\frac12} .\end{align}$

따라서 의 상한 은 입니다. 불행하게도,이 기대에 대한 닫힌 형태는 일반 변수 법선에 대해 적어 놀라 울 정도로 불쾌 : 볼 이 질문 뿐만 아니라 이 하나 . $W_1(P, Q)$ $\E \lVert D \rVert$

의 분산 이 구면 인 경우 (예 : , 이면 의 분산 은 )가 됨) 질문은 일반화 된 Laguerre 다항식의 관점에서 답을 제공합니다. $D$ $\Sigma_x = \sigma_x^2 I$ $\Sigma_y = \sigma_y^2 I$ $D$ $(\sigma_x - \sigma_y)^2 I$

일반적으로, 우리는 Jensen의 불평등에 기반한 대한 간단한 상한을 가지고 있는데 , 예를 들어 첫 번째 질문에서 파생 : $\E \lVert D \rVert$

\begin{aligned} {(E ‖ D ‖)}^{2} & \leq E ‖ D ‖^{2} \\ = ‖ μ_{x} - μ_{y} ‖^{2} + t r (Σ_{x} + Σ_{y} - A Σ_{x} - Σ_{x} A) \\ = ‖ μ_{x} - μ_{y} ‖^{2} + t r (Σ_{x}) + t r (Σ_{y}) - 2 t r (Σ_{x}^{- \frac{1}{2}} {(Σ_{x}^{\frac{1}{2}} Σ_{y} Σ_{x}^{\frac{1}{2}})}^{\frac{1}{2}} Σ_{x}^{\frac{1}{2}}) \\ = ‖ μ_{x} - μ_{y} ‖^{2} + t r (Σ_{x}) + t r (Σ_{y}) - 2 t r ({(Σ_{x}^{\frac{1}{2}} Σ_{y} Σ_{x}^{\frac{1}{2}})}^{\frac{1}{2}}) \\ = W_{2} (P, Q)^{2} . \end{aligned}

$\begin{align} \left( \E \lVert D \rVert \right)^2 &\le \E \lVert D \rVert^2 \\&= \lVert \mu_x - \mu_y \rVert^2 + \tr\left( \Sigma_x + \Sigma_y - A \Sigma_x - \Sigma_x A \right) \\&= \lVert \mu_x - \mu_y \rVert^2 + \tr\left( \Sigma_x \right) + \tr\left( \Sigma_y \right) - 2 \tr\left( \Sigma_x^{-\frac12} \left(\Sigma_x^\frac12 \Sigma_y \Sigma_x^\frac12 \right)^\frac12 \Sigma_x^{\frac12} \right) \\&= \lVert \mu_x - \mu_y \rVert^2 + \tr\left( \Sigma_x \right) + \tr\left( \Sigma_y \right) - 2 \tr\left( \left(\Sigma_x^\frac12 \Sigma_y \Sigma_x^\frac12 \right)^\frac12 \right) \\&= W_2(P, Q)^2 .\end{align}$ 마지막에 동등한 것은 및 와 유사하기 때문입니다. 따라서 동일한 고유 값을 가지므로 제곱근의 흔적이 같습니다.

Σ_{x} Σ_{y}

$\Sigma_x \Sigma_y$

Σ_{x}^{\frac{1}{2}} Σ_{y} Σ_{x}^{\frac{1}{2}} = Σ_{x}^{- \frac{1}{2}} (Σ_{x} Σ_{y}) Σ_{x}^{\frac{1}{2}}

$\Sigma_x^\frac12 \Sigma_y \Sigma_x^\frac12 = \Sigma_x^{-\frac12} (\Sigma_x \Sigma_y) \Sigma_x^{\frac12}$

이 불평등은 가 퇴화되지 않는 한 합니다. 대부분의 경우 입니다. $\lVert D \rVert$ $\Sigma_x \ne \Sigma_y$

추측 : 아마도이 더 가까운 상한 인 가 빡빡 할 것입니다. 그런 다음 다시 여기에 다른 상한이 있었는데 실제로는 보다 느슨하다고 추측 된 추측이 추측을 너무 많이 믿지 않아야합니다. :) $\E \lVert D \rVert$ $W_2$

— 더갈
소스