차원의 저주는 무엇입니까?

21

구체적으로, 나는 차원의 저주를 엄격하게 보여주고 설명 할 참고 문헌 (종이, 책)을 찾고 있습니다. 이 질문은 Lafferty와 Wasserman 이이 백서 를 읽기 시작한 후에 일어났습니다 . 세 번째 단락에서 그들은 가장 잘 알려진 수렴 속도가 임을 암시하는 "잘 알려진"방정식을 언급한다 $n^{-4/(4-d)}$ . 누구든지 그것에 대해 설명하고 설명 할 수 있다면 매우 도움이 될 것입니다.

또한 누구나 "잘 알려진"방정식을 도출하는 참조를 가리킬 수 있습니까?

theory

— 코다
소스

7

설명 할 수는 없지만, 3) 저주의 세 가지 버전과 같은 소리가 들렸다 고 생각합니다. 3) 높은 차원에서는 모든 것이 기본적으로 등거리에있는 경향이있어 구별하기가 어렵습니다.

— Wayne

5

이것을 기하학적으로 해석 할 수 있습니다. 반경이 r = 1 인 D 차원의 구가 있다고 가정합니다. 그런 다음 반지름 r = 1과 r = 1-e 사이에있는 구의 부피의 일부에 대해 질문 할 수 있습니다. 구의 부피가 k (d) * r ^ (d)와 같이 스케일됨을 알기 때문에 d는 차원의 수이므로 분수는 1- (1-e) ^ d로 주어집니다. 따라서 고차원 구체의 경우 대부분의 부피가 표면 근처의 얇은 껍질에 집중됩니다. 이에 대한 자세한 내용은 주교 서 "패턴 인식 및 기계 학습"을 참조하십시오.

— Dr. Mike

@ 웨인 물론; 플러스 5) 더 많은 희미한 소리는 보통 더 많은 소음을 의미합니다.

마이크 박사, 나는 논리를 따르지 않습니다. "대부분의 부피는 고차원 구체의 표면 근처의 얇은 껍질에 집중되어 있기 때문에 차원에 저주를 받았습니다." 더 자세히 설명 할 수 있습니까? 어떻게 유추가 통계와 어떤 관련이 있는지 명시 적으로 보여줄 수 있습니까?

— khoda

9

richiemorrisroe에 이어 다음 은 통계 학습 요소 2 장 (pp22-27) 의 관련 이미지입니다 .

ESL 25 페이지

오른쪽 상단 창에서 볼 수 있듯이 2 차원에서 1 단위 떨어져있는 이웃보다 1 차원 떨어진 1 단위보다 많은 이웃이 있습니다. 3 차원이 더 나빠질 것입니다!

— 잭
소스

7

이것은 귀하의 질문에 직접 대답하지는 않지만 David Donoho는 High-Dimensional Data Analysis : 차원의 저주와 축복 (관련 슬라이드는 여기에 있음 ) 에 대한 멋진 기사를 가지고 있으며 세 가지 저주를 언급합니다.

$D$ $(1/\epsilon)^D$ $\epsilon$
$d$ $(1/\epsilon)^D$ $\epsilon$
$D$ $(1/\epsilon)^D$ $\epsilon$

— 래그 틴
소스

6

나는 그것을 계속 언급한다는 것을 알고 있지만 이것에 대한 훌륭한 설명 은 통계 학습의 요소 챕터 2 (pp22-27)입니다. 그들은 기본적으로 차원이 증가함에 따라 데이터의 양이 (지수 적으로) 증가해야하거나 더 큰 샘플 공간에 유용한 분석을 수행하기에 충분한 포인트가 없을 것이라고 지적합니다.

그들은 Bellman (1961)의 논문을 출처로 여기고 있으며, 아마존 에서 그의 책 Adaptive Control Processes로 보인다 .

— richiemorrisroe
소스

+1. ESL의 설명은 훌륭하며 관련 다이어그램이 많은 도움이됩니다.

— Zach

2

여기에 이미지 설명을 입력하십시오

가장 악명 높은 영향은 다음과 같은 한계에 의해 포착 될 수 있습니다 (위의 그림에 간접적으로 표시됨).

lim_{d i m \to \infty} \frac{d i s t_{m a x} - d i s t_{m i n}}{d i s t_{m i n}}

$\lim_{dim\rightarrow\infty}\frac{dist_{max}-dist_{min}}{dist_{min}}$

$L_2$ $k$ $L_k$

그림의 데이터에 대한 차원의 영향

— 라파엘
소스