Mahalanobis 거리에 대한 하단에서 상단까지의 설명?

나는 패턴 인식과 통계 그리고 Mahalanobis distance 의 개념에 부딪힌 주제에 관해 열 었던 거의 모든 책을 연구하고 있습니다 . 이 책은 일종의 직관적 인 설명을 제공하지만, 실제로 무슨 일이 일어나고 있는지 실제로 이해하기에는 충분하지 않습니다. 누군가가 "말라 노비스 거리는 얼마입니까?" 나는 단지 대답 할 수 있었다 : "이 종류의 거리를 측정하는 것은 좋은 일이다":)

정의에는 일반적으로 고유 벡터와 고유 값도 포함되는데, 이는 Mahalanobis 거리에 연결하는 데 약간의 문제가 있습니다. 고유 벡터와 고유 값의 정의를 이해하지만 Mahalanobis 거리와 어떤 관련이 있습니까? 선형 대수 등의 밑면을 바꾸는 것과 관련이 있습니까?

나는 또한 주제에 관한 이전의 질문들을 읽었습니다.

• Mahalanobis 거리는 무엇이며 패턴 인식에 어떻게 사용됩니까?

• 가우스 분포 함수 및 마할 라 노비스 거리 (Math.SE)에 대한 직관적 인 설명

나는 또한 이 설명을 읽었다 .

대답은 좋은 좋은 사진입니다,하지만 여전히 나는하지 않습니다 정말 좋은 생각을 가지고 있지만 그것은 어둠 속에서 아직 ... 그것을 얻을. 누군가가 "어머니에게 어떻게 설명하겠습니까?"라는 설명을 줘서 마침내 이것을 마무리하고 다시 도대체 Mahalanobis 거리가 무엇인지 궁금해하지 않을 수 있습니까? :) 어디서, 왜, 왜?

최신 정보:

다음은 Mahalanobis 공식을 이해하는 데 도움이되는 것입니다.

https://math.stackexchange.com/questions/428064/distance-of-a-test-point-from-the-center-of-an-ellipsoid

다음은 일부 다변량 데이터의 산점도입니다 (2 차원).

축이 빠졌을 때 무엇을 만들 수 있습니까?

데이터 자체에서 제안하는 좌표를 소개하십시오.

기원은 점의 중심 (그들의 평균의 점)에있을 것입니다. 첫 번째 좌표 축 (다음 그림에서 파란색)은 점의 "척추"를 따라 확장되며, 정의에 따라 분산이 가장 큰 방향입니다. 두 번째 좌표 축 (그림에서 빨간색)은 첫 번째 축에 수직으로 연장됩니다. (2 차원 이상에서, 분산이 가능한 큰 등의 수직 방향으로 선택됩니다.)

우리는 규모 가 필요합니다 . 각 축을 따라 표준 편차는 축을 따라 단위를 설정하는 데 적합합니다. 68-95-99.7 규칙을 기억하십시오. 점의 약 2/3 (68 %)는 원점의 한 단위 (축을 따라) 내에 있어야합니다. 약 95 %는 두 단위 내에 있어야합니다. 따라서 올바른 단위를 쉽게 볼 수 있습니다. 참고로이 그림에는 다음과 같은 단위 원 단위가 포함되어 있습니다.

그것은 실제로 원처럼 보이지 않습니까? 그 이유는이 그림이 왜곡되어 있기 때문입니다 (두 축의 숫자 사이에 다른 간격이 있음). 축을 올바른 방향 (왼쪽에서 오른쪽으로, 아래에서 위로)으로 그리고 단위 종횡비로 다시 그려서 하나의 단위가 실제로 하나의 단위와 수직이되도록합니다.

원본이 아닌이 그림에서 Mahalanobis 거리를 측정합니다.

여기 뭔 일 있었 니? 데이터는 산점도에서 측정을위한 좌표계를 구성하는 방법을 알려줍니다. 그게 다야. 우리는 길을 따라 선택할 수있는 몇 가지 선택이 있었지만 (우리는 항상 하나 또는 두 축을 뒤집을 수 있습니다. 드문 경우이지만 "척추"를 따르는 방향 (주 방향 )은 고유 하지 않습니다. 마지막 줄거리에서.

---

기술 의견

(할 줄거리에 숫자가 다시 나 오자마자 관심을 잃기 시작한 할머니에게는 해당되지 않았지만 제기 된 나머지 질문을 해결하기 위해).

• 새로운 축을 따르는 단위 벡터는 (공분산 행렬 또는 그 역의) 고유 벡터 입니다.

• 원을 만들기 위해 타원을 왜곡하지 않으면 각 고유 벡터를 따라 거리를 표준 편차 (공분산의 제곱근)로 나눕니다 . 시키는 공분산 함수 스탠드, 두 점 사이의 새로운 (마할 라 노비스) 거리 및 로부터의 거리 에 대한 의 제곱근으로 나눈 . 대응하는 대수 연산은 이제 를 행렬로 표현하는 관점에서 , 및 를 벡터로 표현하는 것으로 생각하면 됩니다. 이 작동합니다x y x y C ( x − y , x − y ) C x y $C$$x$$y$$x$$y$$C(x-y, x-y)$$C$$x$$y$$\sqrt{(x-y)'C^{-1}(x-y)}$벡터와 행렬을 나타내는 데 사용되는 기준에 관계없이 특히, 이것은 원래 좌표에서 Mahalanobis 거리 에 대한 올바른 공식입니다 .

• 마지막 단계에서 축이 확장되는 양은 역 공분산 행렬의 고유 값 (제곱근) 입니다. 동등하게, 축은 공분산 행렬의 (근의) 고유 값에 의해 축소 됩니다. 따라서 산란이 많을수록 타원을 원으로 변환하는 데 더 많은 수축이 필요합니다.

• 이 절차는 항상 모든 데이터 세트에서 작동하지만 대략 다변량 표준 데이터에 대해서는 멋지다 (고전적인 축구 모양의 구름). 다른 경우, 평균 지점이 데이터 중심을 잘 표현하지 못하거나 분산의 척도로 분산을 사용하여 "척추"(데이터의 일반 추세)를 정확하게 식별하지 못할 수 있습니다.

• 좌표 원점의 이동, 축의 회전 및 확장은 집합 적으로 아핀 변환을 형성합니다 . 초기 이동과는 별도로, 이것은 원래 좌표 (양의 좌표 방향을 가리키는 단위 벡터 사용)에서 새로운 것 (단위 고유 벡터 선택 사용)으로의 기초 변경입니다.

• PCA (Principal Components Analysis) 와 밀접한 관련이 있습니다 . 이것만으로도 "어디에서 왔는가"와 "왜"질문을 설명하는 데 먼 길을갑니다. 데이터를 설명하고 측정하는 데 사용하는 좌표를 데이터가 결정하도록하는 우아함과 유용성에 아직 확신이없는 경우 차이점.

• 다변량 정규 분포의 경우 (점 구름의 유사한 특성 대신 확률 밀도의 특성을 사용하여 동일한 구성을 수행 할 수 있는 경우) 식에서 " " 대신 Mahalanobis 거리 (새 원점까지)가 나타납니다. 표준 정규 분포의 확률 밀도를 나타내는따라서 새로운 좌표에서 다변량 정규 분포는 표준 법선으로 보입니다.exp ( − $x$$\exp(-\frac{1}{2} x^2)$원점을 통해 모든 선에 투영 될 때. 특히, 각각의 새 좌표에서 표준 법선입니다. 이 관점에서, 다변량 정규 분포가 서로 다른 유일한 실질적인 의미는 그들이 사용하는 차원의 수에 관한 것입니다. (이 치수는 공칭 치수보다 적을 수 있으며 때로는 적을 수도 있습니다.)

할머니는 요리를 해요. 당신도 마찬가지입니다. 요리는 통계를 가르치는 맛있는 방법입니다.

호박 Habanero 쿠키 는 굉장합니다! 계피 와 생강 이 크리스마스 간식 에 얼마나 멋진 지 생각해 본 후, 그들이 얼마나 더운 지 알아보십시오.

재료는 다음과 같습니다.

• habanero peppers (10 종, 파종 및 잘게 다진 것)
• 설탕 (1.5 컵)
• 버터 (1 컵)
• 바닐라 추출물 (1 tsp)
• 계란 (2 매체)
• 밀가루 (2.75 컵)
• 베이킹 소다 (1 tsp)
• 소금 (1 tsp)

도메인의 좌표축이 성분량 인 것을 상상해보십시오. 설탕. 밀가루. 소금. 베이킹 소다. 이러한 방향을 따른 변형은 모두 동일하지만 하바네로 고추 수의 변동으로 향미 품질에 거의 영향을 미치지 않습니다. 밀가루 나 버터의 10 % 변화는 덜 크게 만들지 만 살인자는 아닙니다. 적은 양의 habanero를 추가하면 중독성 디저트에서 테스토스테론 기반 통증 경연 대회에 이르기까지 맛 절벽을 넘어 뜨릴 수 있습니다.

Mahalanobis는 "최고의 맛"과 거리가 멀기 때문에 "성분량"은 그리 멀지 않습니다. 변이에 매우 민감한 성분 인 "강력한"성분은 가장 신중하게 제어해야합니다.

가우스 분포와 표준 정규 분포 에 대해 생각할 때 차이점은 무엇입니까? 중심 경향 (평균) 및 변동 경향 (표준 편차)을 기반으로 한 중심 및 스케일. 하나는 다른 하나의 좌표 변환입니다. Mahalanobis는 그 변형입니다. 관심 분포가 가우스 대신 표준 법선으로 다시 캐스팅 된 경우 세상의 모습을 보여줍니다.

시작점으로, 마할 라 노비스 거리는 에서 벡터 와 사이 의 일반적인 유클리드 거리 의 적절한 변형으로 볼 수 있습니다. X$d(x,y)=\sqrt{\langle x,y \rangle}$$x$$y$$\mathbb R^{n}$$x$$y$$X$

$x$$y$

$x$$C$

우리가 자연스럽게 도달하는 위의 아이디어를 수집

$$D(x,y)=\sqrt{(x-y)\,C^{-1}(x-y)}$$

$X_i$$X=(X_1,\dots,X_n)$$C_{ij}=\delta_{ij}$$X_i$$Var(X_i)=1$$D(x,y)$ $x$$y$$C(x,y)$

두 가지 변수를 고려해 봅시다. 이변 량 정규선 그림 (@whuber 덕분에)을 보면 AB가 AC보다 크다고 간단히 주장 할 수는 없습니다. 양의 공분산이 있습니다. 두 변수는 서로 관련되어 있습니다.

변수가 다음과 같은 경우에만 간단한 유클리드 측정 (AB 및 AC와 같은 직선)을 적용 할 수 있습니다.

1. 독립적
2. 분산이 1과 같습니다.

본질적으로 Mahalanobis 거리 측정은 다음을 수행합니다. 변수를 1과 같은 분산을 갖는 상관되지 않은 변수로 변환 한 다음 간단한 유클리드 거리를 계산합니다.

최대한 간단하게 설명해 드리겠습니다.

마할 라 노비스 거리는 데이터 분포로부터 점 x의 거리를 측정합니다. 데이터 분포는 평균과 공분산 행렬을 특징으로하므로 다변량 가우스로 가정됩니다.

패턴 (클래스의 훈련 예의 데이터 분포)과 시험 예의 유사성 척도로 패턴 인식에 사용됩니다. 공분산 행렬은 피처 공간에서 데이터가 분포되는 방식을 나타냅니다.

그림은 3 개의 다른 클래스를 나타내고 빨간색 선은 각 클래스의 동일한 Mahalanobis 거리를 나타냅니다. 빨간색 선에있는 모든 점은 공분산 행렬로 사용되므로 클래스 평균과 동일한 거리를 갖습니다.

주요 특징은 공분산을 정규화 인자로 사용하는 것입니다.

Whuber의 훌륭한 답변에 약간의 기술 정보를 추가하고 싶습니다. 이 정보는 할머니에게는 관심이 없을 수도 있지만 아마도 손자는 도움이 될 것입니다. 다음은 관련 선형 대수에 대한 상향식 설명입니다.

마할 라 노비스 거리는 로 정의됩니다$d(x,y)=\sqrt{(x-y)^T\Sigma^{-1}(x-y)}$$\Sigma$$\Sigma$$\Sigma$$\Sigma=Q^TDQ$$\Sigma^{-1}=QD^{-\frac{1}{2}}D^{-\frac{1}{2}}Q^T$$d(x,y)=\sqrt{\left[(x-y)^TQ\right]D^{-\frac{1}{2}}D^{-\frac{1}{2}}\left[Q^T(x-y)\right]}=\sqrt{z^Tz}$$Q$$(x-y)$$D^{-\frac{1}{2}}$$D^{-\frac{1}{2}}$$D^{-1}$$z^Tz$

이 질문에 대답하기에 약간 늦을 수 있습니다. 여기 에있는 이 문서 는 Mahalanobis 거리를 이해하기위한 좋은 시작입니다. 숫자 값이 포함 된 완전한 예를 제공합니다. 내가 좋아하는 것은 문제의 기하학적 표현입니다.

위의 훌륭한 설명에 덧붙여, Mahalanobis 거리는 (다변량) 선형 회귀에서 자연적으로 발생합니다. 이것은 Mahalanobis 거리와 다른 답변에서 논의 된 Gaussian 분포 사이의 연결 중 일부의 간단한 결과이지만 어쨌든 철자가 가치가 있다고 생각합니다.

$(x_1, y_1), \ldots, (x_N, y_N)$$x_i \in \mathbb{R}^n$$y_i \in \mathbb{R}^m$$\beta_0 \in \mathbb{R}^m$$\beta_1 \in \mathbb{R}^{m \times n}$$y_i = \beta_0 + \beta_1 x_i + \epsilon_i$$\epsilon_1, \ldots, \epsilon_N$$m$$0$$C$$x_i$$y_i$$x_i$$\beta_0 + \beta_1 x_i$$C$

$y_i$$x_i$$\beta = (\beta_0, \beta_1)$

$$\begin{equation} -\log p(y_i \mid x_i; \beta) = \frac{m}{2} \log (2\pi\det C) + \frac{1}{2} (y_i - (\beta_0 + \beta_1 x_i))^\top C^{-1} (y_i - (\beta_0 + \beta x_i)). \end{equation}$$ $C$ $$\begin{equation} \operatorname{argmin}_\beta [-\log p(y_i \mid x_i; \beta)] = \operatorname{argmin}_\beta D_C(\beta_0 + \beta_1 x_i, y_i), \end{equation}$$ $$\begin{equation} D_C(\hat y, y) = \sqrt{(y - \hat y)^\top C^{-1} (y - \hat y)} \end{equation}$$ $\hat y, y \in \mathbb{R}^m$

$\log p({\bf y} \mid {\bf x}; \beta)$${\bf y} = (y_1, \ldots, y_N)$${\bf x} = (x_1, \ldots, x_N)$

$$\begin{equation} \log p({\bf y} \mid {\bf x}; \beta) = \sum_{i=1}^N \log p(y_i \mid x_i; \beta) \end{equation}$$ $$\begin{equation} \operatorname{argmin}_\beta [-\log p({\bf y} \mid {\bf x}; \beta)] = \operatorname{argmin}_\beta \frac{1}{N} \sum_{i=1}^N D_C(\beta_0 + \beta_1 x_i, y_i), \end{equation}$$ $1/N$

$\beta_0, \beta_1$

마할 라 노비스 거리는 데이터의 공분산을 고려하지 않는 유클리드 거리 (자연 거리)입니다. 시끄러운 구성 요소에 더 큰 가중치를 부여하므로 두 데이터 세트 간의 유사성을 확인하는 데 매우 유용합니다.

변수가 서로 연관되어있는 예 에서 볼 수 있듯이 분포는 한 방향으로 이동합니다. 이 효과를 제거 할 수 있습니다. 거리에서 상관 관계를 고려하면 이동 효과를 제거 할 수 있습니다.