누군가 Hastie의 ESL Book에서이 문제에 대해 5 살짜리처럼 설명 할 수 있습니까?

Hastie의 ESL 서적을 통해 작업 중이며 질문 2.3에서 힘든 시간을 보내고 있습니다. 문제는 다음과 같습니다.

우리는 원점에서 가장 가까운 이웃 추정치를 고려하고 있으며, 원점에서 가장 가까운 데이터 포인트까지의 중간 거리는이 방정식으로 주어집니다. 나는 이것을 이끌어 내기 위해 어디에서 시작 해야할지 모른다.

나는 대부분의 데이터 포인트가 다른 데이터 포인트 (차원의 저주)보다 샘플 공간의 경계에 더 가깝다는 것을 알고 있지만 이것을 선형 대수 / 확률 의미로 변환하는 데 문제가 있습니다.

감사!

machine-learning computational-statistics

— 게리
소스

제목의 "ELI5"는 무엇을 의미합니까? 이 방정식을 도출하려면 공의 점에 대한 확률 모델로 시작해야합니다. 해당 모델은 무엇입니까? (질문을 이해하기 위해 독자가 책이나 다른 사이트를 참조하도록 요구하지 마십시오.)

— whuber

@whuber 동의합니다-약어는 끔찍한 해싱 체계입니다.

— Sycorax는 Reinstate Monica가

당신은 5 살입니다. ESL을 이해하고 싶다는 모든 공로를 인정하지만 6 세가 될 때까지 기다려야합니다. 큰 남자와 여자를위한 책입니다.

— Nick Cox

5 세인 사람은 1 차원 사례 (p = 1)를보고 시작할 수 있습니다. 그리고 일단 손에 들어가면 거기서 가져옵니다.

— Mark L. Stone

만약 우리가 ELI5가 ESL을 어떻게 설명 할 것인가?

— mdewey

하자 원점으로부터의 거리, 그리고하자 있는 단위 hypersphere의 볼륨 수 치수. 그러면 반지름 의 초구에 포함 된 부피 는 $r$ $V_0[p]$ $p$ $r$

V [아르 자형] = V_{0} [피] {아르 자형}^{피}

$V[r]=V_0[p]r^p$

우리가 할 수있는 경우 이 hypersphere 포함 부피 분율을 나타내며, 정의 이어서, $P=V[r]/V_0[p]$ $R=r^p$

피 [아르 자형] = 아르 자형

$P[R]=R$

데이터 포인트 유닛이 균일 공 내에 분포되는 경우에 대한 상기 화학식 누적 분포 함수 (CDF)이다 . 이것은 단위 간격, 즉 대한 에 대한 균일 한 확률 밀도와 동등하다 . 따라서 주석에서 Mark Stone이 암시 한 것처럼 차원 사례를 동등한 1D 문제로 줄일 수 있습니다 . $0\leq R\leq 1$ $R$ $R$ $p[R]= P'[R] =1$ $p$

이제 단일 점 이 있으면 CDF의 정의에 따라 및 . 만약 중 최소값 인 포인트 및 포인트는 모두 독립적으로 주어진다 대한 다음 CDF이다 (단 변량 극값 이론 의 표준 결과입니다 ). $R$ $\Pr[R\leq \rho]=P[\rho]$ $\Pr[R\geq \rho]=1-P[\rho]$ $R_{\min}$ $n$

홍보 [{아르 자형}_{분} \geq ρ] = 홍보 [아르 자형 \geq ρ]^{엔} = (1 - ρ)^{엔}

$\Pr[R_{\min}\geq \rho]=\Pr[R\geq \rho]^n=(1-\rho)^n$

중간의 정의에 의하면, 우리가 이는 우리가 할 원하는 결과와 동일한 로 다시 작성 하십시오.

\frac{1}{2} = 홍보 [({아르 자형}_{분})_{미디엄 이자형 디} \geq 아르 자형] = (1 - 아르 자형)^{엔}

$\frac{1}{2}=\Pr[(R_{\min})_{\mathrm{med}}\geq R]=(1-R)^n$

(1 - 디^{피})^{엔} = \frac{1}{2}

$(1-d^p)^n=\frac{1}{2}$

편집 : 세 부분으로 " ELI5 "스타일 답변을 시도하십시오 .

단일 점이있는 1D 사례의 경우 거리는 균일하게 분포 되므로 중앙값은 입니다. $[0,1]$ $\frac{1}{2}$
1D에서 점 이상의 최소값에 대한 분포 는 번째 검정력 의 첫 번째 경우 입니다. $n$ $n$
에서는 크기는 거리 균일하게 분산되지 않고, 이다. $p$ $r$ $r^p$

— 지오 맷 22
소스

하하, 5 살이 p = 1 사례를 보면 시작될 수 있다고 언급했습니다. 나는 4 살짜리가 p = 1 경우뿐만 아니라 n = 1 일 수도 있다는 의견을 추가하는 것에 대해 생각했습니다. 그러나 나는 5 살짜리가 그것을 알아낼 것이라고 생각했습니다.

— Mark L. Stone

내가 질문에 대답했을 때, 그것은 @fcop에 의해 다음과 같이 명확 해졌다. 가장 가까운 데이터 포인트는 ... "로 제공됩니다. 따라서 차원 공간 에서 규범에 대한 단위 공 . 이 후 질문은 원본으로 롤백되었으며, 이는 다르고 명확하지 않습니다. (원래 질문의 코멘트 체인을 참조하십시오.)

L_{2}

$L_2$

p

$p$

— GeoMatt22