커널 밀도 추정을 수행 할 때 Epanechnikov 커널이 이론적으로 최적이라면 왜 더 일반적으로 사용되지 않습니까?

커널 밀도 추정을 수행 할 때 Epanechnikov 커널이 이론적으로 적어도 최적이라는 것을 읽었습니다 (예 : here ). 이것이 사실이라면 왜 가우시안이 밀도 추정 라이브러리에서 기본 커널 또는 많은 경우 유일한 커널처럼 자주 표시됩니까?

nonparametric kernel-smoothing

— 존 라우저
소스

여기에 두 가지 질문이 있습니다. 왜 자주 사용되지 않습니까? 왜 Gaussian이 종종 기본 / 전용 커널입니까? 사소하게 들릴지 모르지만 Epanechnikov라는 이름은 그 언어에 능숙하지 않은 사람들을 위해 철자를 정확하게 발음하고 발음하기 어려워 보일 수 있습니다. (나는 E.가 러시아어인지 확실하지 않다; 나는 전기 세부 사항을 찾지 못했습니다.) 또한, 예를 들어 biweight를 표시하면 종 모양, 유한 너비 및 가장자리에서의 행동에 대한 주석이 보입니다. 더 쉽게 팔 수 있습니다. Epanechnikov는 Stata의 기본값입니다 kdensity.

— Nick Cox

이 이론적 최적 성은 실제로는 거의 영향을 미치지 않는다고 덧붙입니다.

— Xi'an

익숙한 이름입니다. 유한 한 지원이없는 커널을 사용하는 것이 합리적이라면 선호해야합니다. 내가 경험 한 한, 말이되지 않기 때문에 선택은 기술적 인 것이 아니라 사회적으로 보입니다.

— Nick Cox

@ NickCox, 네, E는 러시아 친구였습니다. 약어는 아닙니다 :) 그는 수수께끼의 사람이었습니다. 이것은 당신이 그에 대해 찾을 수있는 전부입니다. 나는 또한 그의 이름을 가진 사람이 프로그래머블 계산기에 쓴 매우 유용한 책을 기억합니다 . 예, 그것은 당시 큰 일이었습니다

— Aksakal

@amoeba 그는 Институт радиотехники и электроники Российской Академии Наук им 에서 근무했습니다 . Котельникова, 나는 그가 연구를 분류했다 내기, 전체 이름은 Епанечников Виктор Александрович

— Aksakal

답변:

Epanechnikov 커널이 이론적으로 최적으로 사용되지 않는 이유는 Epanechnikov 커널이 이론적으로 최적이 아니기 때문일 수 있습니다 . Tsybakov는 Epanechnikov 커널이 16-19 페이지의 비모수 적 추정 소개 (섹션 1.2.4) 에서 "이론적으로 최적"이라는 주장을 명백히 비판합니다 .

커널 $K$ 에 대한 몇 가지 가정과 고정 밀도 $p$ 를 요약하려고 하면 평균 적분 제곱 오차의 형태는 다음과 같습니다.

\begin{matrix} (1) & \frac{1}{n h} \int K^{2} (u) d u + \frac{h^{4}}{4} S_{K}^{2} \int (p^{″} (x))^{2} d x . \end{matrix}

$\frac{1}{nh} \int K^2 (u) du + \frac{h^4}{4}S_K^2 \int (p''(x))^2 dx \,. \tag{1}$

Tsybakov의 주된 비판은 음이 아닌 커널에 대해 최소화하는 것 같습니다. 음이 아닌 커널로 제한하지 않고 음이 아닌 더 나은 성능의 추정기를 얻을 수 있기 때문입니다.

Epanechnikov 커널에 대한 논쟁의 첫 번째 단계는 대해 $(1)$ 을 최소화하고 더 넓은 클래스의 모든 커널이 아닌) 음이 아닌 모든 커널을 최소화 하여 대한 "최적의"대역폭을 얻는 것으로 시작합니다 $h$ $K$

h^{M I S E} (K) = {(\frac{\int K^{2}}{n S_{K}^{2} \int (p^{″})^{2}})}^{1 / 5}

$h^{MISE}(K) = \left( \frac{\int K^2}{nS_K^2 \int (p'')^2} \right)^{1/5}$

"최적의"커널 (Epanechnikov)

K^{*} (u) = \frac{3}{4} (1 - u^{2})_{+}

$K^*(u) = \frac{3}{4}(1-u^2)_+$

평균 적분 제곱 오차는 다음과 같습니다.

h^{M I S E} (K^{*}) = {(\frac{15}{n \int (p^{″})^{2}})}^{1 / 5} .

$h^{MISE}(K^*) = \left( \frac{15}{n \int (p'')^2} \right)^{1/5} \,.$

그러나 이것은 알 수없는 밀도 에 대한 지식 ( $p''$ )에 의존하기 때문에 실행 가능한 선택이 아닙니다. 따라서 "oracle"수량입니다. $p$

Tsybakov가 제안한 제안은 Epanechnikov 오라클에 대한 점근 적 MISE는 다음과 같습니다.

\begin{matrix} (2) & lim_{n \to \infty} n^{4 / 5} E_{p} \int (p_{n}^{E} (x) - p (x))^{2} d x = \frac{3^{4 / 5}}{5^{1 / 5} 4} {(\int (p^{″} (x))^{2} d x)}^{1 / 5} . \end{matrix}

$\lim_{n \to \infty} n^{4/5} \mathbb{E}_p \int (p_n^E (x) - p(x))^2 dx = \frac{3^{4/5}}{5^{1/5}4} \left( \int (p''(x))^2 dx \right)^{1/5} \,. \tag{2}$

Tsybakov (2)는 종종 하나 (이 순서 2의 핵을 사용할 수있는 가장 달성 미장센 주장하지만, 다음 방송하고 있다고 $S_K =0$ 모든 위해) 커널 추정기를 구성하기 $\varepsilon >0$ ,되도록

\underset{n \to \infty}{lim sup} n^{4 / 5} E_{p} \int ({\hat{p}}_{n} (x) - p (x))^{2} d x \leq ε .

$\limsup_{n \to \infty} n^{4/5} \mathbb{E}_p \int (\hat{p}_n (x) - p(x))^2 dx \le \varepsilon \,.$

비록 번 계속 양극 부 추정기에 대한 동일한 결과 반드시 음수 가지고 있지 않은 경우에도 음이 아닌 것이 보장된다 ( 아닙니다) : $\hat{p}_n$ $p_n^+ := \max(0, \hat{p}_n)$ $K$

\underset{n \to \infty}{lim sup} n^{4 / 5} E_{p} \int (p_{n}^{+} (x) - p (x))^{2} d x \leq ε .

$\limsup_{n \to \infty} n^{4/5} \mathbb{E}_p \int (p_n^+ (x) - p(x))^2 dx \le \varepsilon \,.$

따라서 $\varepsilon$ 충분히 작 으면 Epanechnikov oracle 보다 점근선이 작은 MISE를 갖는 실제 추정기 가 존재하며 , 심지어 알려지지 않은 밀도 에 대해 동일한 가정을 사용합니다 . $p$

특히, 모든 커널 추정기 (또는 커널 추정기의 양의 부분)에 대한 고정 된 $p$ 대한 점근 적 MISE의 부정확 한 값 은 $0$ 입니다. 따라서 Epanechnikov 오라클은 실제 견적 자와 비교할 때조차도 최적에 가깝지 않습니다.

사람들이 Epanechnikov 오라클에 대한 주장을 처음으로 발전시킨 이유는 밀도 자체가 음이 아니기 때문에 커널 자체가 음이 아니어야한다고 주장하기 때문입니다. 그러나 Tsybakov가 지적했듯이, 음이 아닌 밀도 추정기를 얻기 위해 커널이 음이 아닌 것으로 가정 할 필요는 없으며 다른 커널을 허용하면 음이 아닌 밀도 추정기가 가능합니다 (1) oracles가 아닙니다. (2) 고정 된 $p$ 대해 Epanechnikov 오라클보다 임의로 더 잘 수행 합니다. Tsybakov는이 불일치를 사용하여 고정 $p$ 측면에서 최적 성을 주장하는 것이 타당하지 않지만 클래스 전체에서 균일 한 최적 특성만을 주장하는 것이 합리적이라고 주장합니다.밀도의. 그는 또한 MISE 대신 MSE를 사용할 때이 주장이 여전히 효과가 있다고 지적했다.

편집 : Corollary 1.1도 참조하십시오. p.25에서 Epanechnikov 커널이 다른 기준에 따라 허용되지 않는 것으로 나타났습니다. Tsybakov는 실제로 Epanechnikov 커널을 좋아하지 않는 것 같습니다.

— Chill2Macht
소스

흥미로운 읽을 거리는 +1이지만 가우시안 커널이 Epanechnikov 커널보다 더 자주 사용되는 이유는 대답하지 않습니다. 둘 다 음이 아닙니다.

— 아메바는

@amoeba 사실입니다. 최소한 이것은 Epanechnikov 커널에 관한 제목의 질문에 대답합니다. (IE는 그것이 거짓이라는 질문 쇼 전제를 해결합니다.)

— Chill2Macht

(+1) Tsybakov의 부정적 커널 추정치의 긍정적 인 부분 (최소한 그의 제안에 대한 기억)을 취하는 체계를 조심해야 할 점은 결과 밀도 추정기가 실제 밀도에 대해 더 나은 MSE 수렴을 제공 할 수 있다는 것입니다. 밀도 추정값은 일반적 으로 유효한 밀도가 아닙니다 (질량을 자르고 더 이상 1에 통합되지 않기 때문에). 실제로 MSE에만 관심이 있다면 중요하지 않지만 때로는 심각한 문제가 될 수 있습니다.

— Dougal

가우스 커널은 예를 들어 도함수를 통한 밀도 추정에 사용됩니다.

\frac{d^{i} f}{d x^{i}} (x) \approx \frac{1}{b a n d w i d t h} \sum_{j = 1}^{N} \frac{d^{i} k}{d x^{i}} (X_{j}, x)

$\frac{d^if}{dx^i}(x)\approx \frac{1}{bandwidth}\sum_{j=1}^N \frac{d^ik}{dx^i}(X_j,x)$

This is because the Epanechnikov kernel has 3 derivatives before it's identically zero, unlike the Gaussian which has infinitely many (nonzero) derivatives. See section 2.10 in your link for more examples.

— Alex R.
소스

The first derivative of the Epanechnikov (note the second n, by the way) kernel is not continuous where the function crosses the kernel's own bounds; that might be more of an issue.

— Glen_b -Reinstate Monica

@Glen_b: You're probably right, although having 0 derivatives after some

i

$i$ would be silly too.

— Alex R.

@AlexR. While what you say is true, I don't understand how it explains why the Gaussian is so common in ordinary density estimation (as opposed to estimating the derivative of the density). And even when estimating derivatives, section 2.10 suggests that the Gaussian is never the preferred kernel.

— John Rauser

@JohnRauser: Keep in mind that you need to use higher order Epanechnikov kernels for optimality. Usually people use a Gaussian because it's just easier to work with and has nicer properties.

— Alex R.

@AlexR I'd quibble on "[u]sually people use a Gaussian"; do you have any systematic data on frequency of use or this is just an impression based on work you see? I see biweights often, but I wouldn't claim more than that.

— Nick Cox