"가장 가까운 이웃"은 오늘 언제 의미가 있습니까?

1999 년 Beyer et al. 물었다 가 "가장 가까운 이웃"의미가?

1999 년 이후 NN 검색에서 거리 편평의 영향을 분석하고 시각화하는 더 좋은 방법이 있습니까?

[주어진] 데이터 세트가 1-NN 문제에 대한 의미있는 답변을 제공합니까? 10-NN 문제? 100-NN 문제?

오늘날 전문가들이이 질문에 어떻게 접근 하시겠습니까?

월요일 1 월 24 일 수정 :

"차원이 증가함에 따라 거리 평탄도"의 짧은 이름으로 "거리 화이트 아웃"은 어떻습니까?

"거리 화이트 아웃"을 쉽게 볼 수있는 방법은 2-NN을 실행하고 가장 가까운 이웃 및 두 번째 이웃 이웃까지의 거리를 플로팅하는 것입니다. 아래 그림은 Monte Carlo의 다양한 nclusters 및 치수에 대한 dist ₁ 및 dist ₂ 를 보여줍니다 . 이 예는 스케일링 된 절대 차이 | dist ₂ -dist ₁ |에 대한 아주 좋은 거리 대비를 보여줍니다 . ( 치수 → ∞와의 상대적인 차이 | dist ₂ / dist ₁ | → 1이므로 쓸모 없게됩니다.)

주어진 상황에서 절대 오차 또는 상대 오차를 사용해야하는지 여부는 "실제"소음에 따라 달라집니다.

제안 : 항상 2-NN을 실행하십시오. 2 명의 이웃은 가까이있을 때는 유용하고 그렇지 않을 때는 유용합니다.

여기에 이미지 설명을 입력하십시오

machine-learning k-nearest-neighbour

— 거부
소스

Beyer et al. NN 문제의 약간 다른 측면을 다루는 것 같습니다. 그러나 (이진) 분류 목적의 경우 온화한 조건에서 1-NN 분류가 최악의 경우 Bayes (즉, 최적) 분류기의 오류 확률이 두 배로 증가 하는 전형적인 결과입니다 . 다시 말해, 가장 가까운 첫 번째 이웃은 최상의 분류기에서하는 것처럼 대상 레이블에 대한 "정보의 절반 이상"을 포함합니다. 이런 점에서 1-NN은 매우 관련성이있는 것으로 보입니다. (더 자세한 내용은 Cover & Hart (1967)를 참조하십시오. Beyer et al.가 인용하지 않은 것에 놀랐습니다.)

— 추기경

@ cardinal, Cover-Hart 바운드는 다른 측면을 말하면서 치수에 전혀 의존하지 않는 것 같습니다.

— 데니스

예, 이것이 사실이라고 믿습니다. 그리고 이것은 대부분 그것을 제기 할 때의 요점이었습니다. 1-NN은 그런 의미에서 매우 관련이있는 것으로 보입니다. 즉, 특징 공간의 차원에서 (이론적으로) 균일하게 잘 작동한다는 사실은 가장 가까운 동작과 가장 먼 이웃은 큰 차원의 공간에 있습니다. Beyer가이 모든 (고전적인) 결과를 알고 있었는지 궁금합니다.

— 추기경

@cardinal Cover and Hart의 24 페이지 상단은 모든 RV x \ in X가 x에 관한 모든 열린 구가 가지고있는 특성을 가지고 있다고 Cover와 Hart가 주장하는 단계에서 증명에 문제가 발생할 수있는 장소처럼 보입니다. 0이 아닌 측정. 우리가 초구의 기하학을 고려한다면, 우리는 초구의 내부 부피가 치수가 증가함에 따라 줄어들 기 때문에, x에 대한 열린 공은 그 내부에 x만을 포함합니다. 대안 적으로, SLLN을 통해, 메트릭 공간 (X)에서의 iid RV (x)는 모두 확률 1로 초 구면에 놓인다.

— 밥 Durrant

클러스터링에 대한 L1 또는 L.5 메트릭 도 참조하십시오 .

— 데니스

답변:

이 질문에 대한 정답은 없지만 일부 분석 측면에 대해서는 부분적으로 답변 할 수 있습니다. 경고 : 아래 첫 번째 논문 이후 다른 문제에 대해 연구 해왔으므로 알지 못하는 다른 좋은 것들이있을 가능성이 큽니다.

먼저, "가장 가까운 이웃은 언제 의미 있는가"라는 논문 제목에도 불구하고 Beyer 등은 실제로 다른 질문, 즉 NN 이 의미 가 없는 경우에 다른 질문에 대답했다는 점에 주목할 가치가 있다고 생각합니다 . 우리 는 '가장 가까운 이웃'이 의미있는시기 : 대화 정리와 시사점 에서 표본의 크기에 대한 약간의 추가 가정 하에서 그들의 정리에 대한 대화를 증명했다 . 복잡성 저널, 25 (4), 2009 년 8 월, pp 385-397.(이론적으로) 거리의 집중이 발생하지 않는 상황이 있음을 보여주었습니다 (우리는 예를 들지만, 본질적으로 비 소음 특징의 수는 차원 적으로 커질 필요가 있습니다. 물론 실제로는 거의 발생하지 않습니다). 본 논문에 인용 된 참고 문헌 1과 7은 실제로 거리 농도를 완화 할 수있는 방법의 몇 가지 예를 제공합니다.

관리자 인 Ata Kaban의 논문 은 특정 데이터 감소 기술의 거리 집중 인식에 관한 차원 축소 기술을 적용하더라도 이러한 거리 집중 문제가 지속되는지 여부를 살펴 봅니다 . 패턴 인식. Vol. 44, Issue 2, 2011 년 2 월, pp.265-277. . 거기에도 좋은 토론이 있습니다.

$k$

— 밥 듀란트
소스

고마워요 밥, +1 관련 질문, 분수 메트릭 q의 값을 선택하는 경험 법칙이 있습니까? (또는 별도의 질문으로 물어봐야합니까?)

— 데니스

q = 1 / p

$q=1/p$

p > 1

$p>1$

p

$p$

l_{0}

$l_0$

p = 1

$p=1$

l_{1}

$l_{1}$

l_{q = 1 / p}

$l_{q=1/p}$

p > 1

$p>1$

p

$p$ 데이터에서. 아마도 누군가 지금 까지이 작업을 자동화 할 수있는 방법을 찾았지만 모르겠습니다.

— 밥 Durrant

\sum | a_{j} - b_{j} |^{q}

$\sum |a_j - b_j|^q$

1 / q

$1/q$

< q <

$< q <$

— 데니스

ℓ_{p}

$\ell_{p}$

Goldberger 등의 이웃 구성 요소 분석 에 관심이있을 수도 있습니다 .

여기에서 확률 적으로 가장 가까운 이웃 선택을 통해 올바르게 분류 된 점을 최대화하기 위해 선형 변환을 학습합니다.

부작용으로 (예상되는) 이웃 수는 데이터로부터 결정됩니다.

— 바이엘
소스

고마워요. "거리 측정 학습"은 호황을 누리고있는 것으로 보입니다. Scholar.goo는 2008 년 이후로 50 개의 타이틀을 보유하고 있습니다. 그러나 호황 종이입니까, 아니면 실제로 사용됩니까? 각주, nca의 코드는 "반복 ... 좋은 결과를 위해 적어도 100000"이라고 말합니다. 각주 2, 거리 측정 학습에 대한 대부분의 연구는 Mahalanobis 거리를 모델링하는 것으로 보인다. 다른 거리 모델을 알고 있습니까?

— 데니스

저는 NCA에 대해 다른 경험을 가지고 있습니다. 일반적으로 저에게 매우 신속하게 수렴됩니다. LeCun의 "불변량 매핑 학습을 통한 차원 축소"및 Norouzi의 "콤팩트 이진 코드의 최소 손실 해싱"을 확인하십시오.

— bayerj