두 분포 사이에 Hellinger 거리에 대한 편견 추정기가 있습니까?

하나 관찰 설정에서 $X_1,\ldots,X_n$ 농도와 분포 분포 $f$ (에 기초 공정한 추정기가 있으면 궁금 $X_i$ 밀도 다른 분포에 Hellinger 거리의) $f_0$ , 즉

$$\mathfrak{H}(f,f_0) = \left\{ 1 - \int_\mathcal{X} \sqrt{f(x)f_0(x)} \text{d}x \right\}^{1/2}\,.$$

합리적으로 넓은 비모수 적 분포의 분포에서 f에 대해 H 또는 H 2 중 하나의 편견 추정기 가 존재 하지 않습니다.$\mathfrak{H}$$\mathfrak{H}^2$$f$

우리는 이것을 아름답고 간단한 주장으로 보여줄 수 있습니다.

Bickel and Lehmann (1969). 볼록한 가정에서 편견없는 추정 . 수학 통계 연보, 40 (5) 1523–1535. ( 프로젝트 유클리드 )

일부 분포 F 0 , F 및 G 를 해당 밀도 f 0 , f 및 g로 수정하십시오 . 하자 H ( F ) 나타내고 H ( F , F 0 ) 및하자 H ( X ) 의 일부 추정되는 H ( F ) 에 기초하여 N IID 샘플 은 X 서버 나 ~ F를 .$F_0$$F$$G$$f_0$$f$$g$$H(F)$$\mathfrak{H}(f, f_0)$$\hat H(\mathbf X)$$H(F)$$n$$X_i \sim F$

한다고 가정 H는 형태의 임의의 분포로부터 샘플 공평 M의 α : = α F + ( 1 - α ) G . 그러나 Q ( α )$\hat H$

$$M_\alpha := \alpha F + (1 - \alpha) G .$$ = H ( M α )= ∫ X 1 ⋯ ∫ X N H ( X )d M α ( x 1 ) ⋯ d M α ( x n )= ∫ X 1 ⋯ ∫ X N H ( X ) [ α D F ( X 1 ) + ( 1 - α ) D G ( X 1 ) ] ⋯ [ α (D) F ( X의 N ) + ( 1 - α ) D G ( × n ) ]= α N E X ~ F N [ H ( X ) ] + ⋯ + ( 1 - α ) N E X ~ G N [ H ( X ) ] , 그래서Q(α가)에 있어야 다항식α의 최대n도. $$\begin{align} Q(\alpha) &= H(M_\alpha) \\&= \int_{x_1} \cdots \int_{x_n} \hat H(\mathbf X) \,\mathrm{d}M_\alpha(x_1) \cdots\mathrm{d}M_\alpha(x_n) \\&= \int_{x_1} \cdots \int_{x_n} \hat H(\mathbf X) \left[ \alpha \mathrm{d}F(x_1) + (1-\alpha) \mathrm{d}G(x_1) \right] \cdots \left[ \alpha \mathrm{d}F(x_n) + (1-\alpha) \mathrm{d}G(x_n) \right] \\&= \alpha^n \operatorname{\mathbb{E}}_{\mathbf X \sim F^n}[ \hat H(\mathbf X)] + \dots + (1 - \alpha)^n \operatorname{\mathbb{E}}_{\mathbf X \sim G^n}[ \hat H(\mathbf X)] ,\end{align}$$ $Q(\alpha)$$\alpha$$n$

이제 합리적인 경우를 전문화하고 해당 Q 가 다항식이 아님을 보여 드리겠습니다 .$Q$

하자 F 0 에서 일정한 밀도를 갖는 어떤 분배 될 수 [ - 1 , 1 ] : F 0 ( X ) = C 모두 | x | ≤ 1 . (. 그 밖에 동작 범위는 중요하지 않음)하자 F는 오직 어떤 분포에지지 될 수 [ - 1 , 0 ] 및 G는 어떤 분포만을 지원 [ 0 , 1 ] .$F_0$$[-1, 1]$$f_0(x) = c$$\lvert x \rvert \le 1$$F$$[-1, 0]$$G$$[0, 1]$

이제

$$\begin{align} Q(\alpha) &= \mathfrak{H}(m_\alpha, f_0) \\&= \sqrt{1 - \int_{\mathbb R} \sqrt{m_\alpha(x) f_0(x)} \mathrm{d}x} \\&= \sqrt{1 - \int_{-1}^0 \sqrt{c \, \alpha f(x)} \mathrm{d}x - \int_{0}^1 \sqrt{c \, (1 - \alpha) g(x)} \mathrm{d}x} \\&= \sqrt{1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G} ,\end{align}$$ where $B_F := \int_{\mathbb R} \sqrt{f(x) f_0(x)} \mathrm{d}x$ and likewise for $B_G$. Note that $B_F > 0$, $B_G > 0$ for any distributions $F$, $G$ which have a density.

$\sqrt{1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G}$ is not a polynomial of any finite degree. Thus, no estimator $\hat H$ can be unbiased for $\mathfrak{H}$ on all of the distributions $M_\alpha$ with finitely many samples.

Likewise, because $1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G$ is also not a polynomial, there is no estimator for $\mathfrak{H}^2$ which is unbiased on all of the distributions $M_\alpha$ with finitely many samples.

This excludes pretty much all reasonable nonparametric classes of distributions, except for those with densities bounded below (an assumption nonparametric analyses sometimes make). You could probably kill those classes too with a similar argument by just making the densities constant or something.

I don't know how to construct (if it exists) an unbiased estimator of the Hellinger distance. It seems possible to construct a consistent estimator. We have some fixed known density $f_0$, and a random sample $X_1,\dots,X_n$ from a density $f>0$. We want to estimate

$$H(f,f_0) = \sqrt{1 - \int_\mathscr{X} \sqrt{f(x)f_0(x)}\,dx} = \sqrt{1 - \int_\mathscr{X} \sqrt{\frac{f_0(x)}{f(x)}}\;\;f(x)\,dx}$$ $$= \sqrt{1 - \mathbb{E}\left[\sqrt{\frac{f_0(X)}{f(X)}}\;\;\right] }\, ,$$ where $X\sim f$. By the SLLN, we know that $$\sqrt{1 - \frac{1}{n} \sum_{i=1}^n \sqrt{\frac{f_0(X_i)}{f(X_i)}}} \quad \rightarrow H(f,f_0) \, ,$$ almost surely, as $n\to\infty$. Hence, a resonable way to estimate $H(f,f_0)$ would be to take some density estimator $\hat{f_n}$ (such as a traditional kernel density estimator) of $f$, and compute $$\hat{H}=\sqrt{1 - \frac{1}{n} \sum_{i=1}^n \sqrt{\frac{f_0(X_i)}{\hat{f_n}(X_i)}}} \, .$$