Mahalanobis 거리와 레버리지의 관계를 증명 하시겠습니까?

Wikipedia 에서 공식을 보았습니다 . Mahalanobis 거리 및 레버리지와 관련이 있습니다.

Mahalanobis 거리는 지렛대 통계량 $h$ 와 밀접한 관련이 있지만, 다른 척도를 갖습니다.
$D^{2} = (N - 1) (h - \frac{1}{N}) .$ $D^2 = (N - 1)(h - \tfrac{1}{N}).$

A의 링크 된 기사 , 위키 백과 설명 $h$ 이 용어를 :

선형 회귀 모델에서는 대한 활용 점수 $i^{th}$ 데이터 유닛은 다음과 같이 정의된다 :
$h_{i i} = (H)_{i i},$ $h_{ii}=(H)_{ii},$ $i^{th}$ 모자 행렬의 대각 요소 $H=X(X^{\top}X)^{-1}X^{\top}$ 여기서 행렬 전치이다. $^{\top}$

어디서나 증거를 찾을 수 없습니다. 정의에서 시작하려고했지만 진행할 수 없습니다. 누구나 힌트를 줄 수 있습니까?

— dave2d
소스

Mahalanobis 거리에 대한 설명을 아래에서 위로 설명합니다. 두 가지 주요 결과가 포함됩니다.

정의에 따라 회귀자가 균등하게 이동해도 변경되지 않습니다.
벡터 $x$ 와 $y$ 사이의 제곱 된 마할 라 노비스 거리는
$D^{2} (x, y) = (x - y)^{'} Σ^{- 1} (x - y)$ $D^2(x,y) = (x-y)^\prime \Sigma^{-1}(x-y)$ 로 주어집니다. 여기서 $\Sigma$ 는 데이터의 공분산입니다.

(1) 회귀 자의 평균이 모두 0이라고 가정 할 수 있습니다. $h_i$ 를 계산해야 합니다. 그러나 주장이 사실이 되려면 가정을 하나 더 추가해야합니다.

모델은 절편을 포함해야합니다.

이를 허용하면 $k \ge 0$ 회귀 분석기와 $n$ 데이터가 있고 관측 값 대한 회귀 분석기 $j$ 의 값을 로 씁니다 . 이들의 열 벡터하자 회귀에 대한 값 기입 이들의 행 벡터 관측 값 쓸 수 . 그런 다음 모델 매트릭스 는 $i$ $x_{ij}$ $n$ $j$ $\mathbf{x}_{,j}$ $k$ $i$ $\mathbf{x}_i$

X = (\begin{matrix} 1 & x_{11} & \dots & x_{1 k} \\ 1 & x_{21} & \dots & x_{2 k} \\ ⋮ & ⋮ & ⋮ & ⋮ \\ 1 & x_{n 1} & \dots & x_{n k} \end{matrix})

$X = \pmatrix{ 1 &x_{11} &\cdots &x_{1k} \\ 1 &x_{21} &\cdots &x_{2k} \\ \vdots &\vdots &\vdots &\vdots \\ 1 &x_{n1} &\cdots &x_{nk}}$

정의에 따르면 모자 매트릭스는

H = X (X^{'} X)^{- 1} X^{'},

$H = X(X^\prime X)^{-1} X^\prime,$

대각선을 따라있는 항목 $i$ 는

\begin{matrix} (1) & h_{i} = h_{i i} = (1; x_{i}) (X^{'} X)^{- 1} (1; x_{i})^{'} . \end{matrix}

$h_i = h_{ii} = (1; \mathbf{x}_i) (X^\prime X)^{-1} (1; \mathbf{x}_i)^\prime.\tag{1}$

중심 행렬을 역으로 계산하는 것 외에는 아무것도 없지만 첫 번째 주요 결과 덕분에 특히 블록 행렬 형식으로 작성할 때 쉽습니다.

X^{'} X = n (\begin{matrix} 1 & 0^{'} \\ 0 & C \end{matrix})

$X^\prime X = n\pmatrix{1 & \mathbf{0}^\prime \\ \mathbf{0} & C}$

$\mathbf{0} = (0,0,\ldots,0)^\prime$

C_{j k} = \frac{1}{n} \sum_{i = 1}^{n} x_{i j} x_{i k} = \frac{n - 1}{n} Cov (x_{j}, x_{k}) = \frac{n - 1}{n} Σ_{j k} .

$C_{jk} = \frac{1}{n} \sum_{i=1}^n x_{ij} x_{ik} = \frac{n-1}{n}\operatorname{Cov}(\mathbf{x}_j, \mathbf{x}_k) = \frac{n-1}{n}\Sigma_{jk}.$

$\Sigma$

(X^{'} X)^{- 1} = \frac{1}{n} (\begin{matrix} 1 & 0^{'} \\ 0 & C^{- 1} \end{matrix}) = (\begin{matrix} \frac{1}{n} & 0^{'} \\ 0 & \frac{1}{n - 1} Σ^{- 1} \end{matrix}) .

$(X^\prime X)^{-1} = \frac{1}{n}\pmatrix{1 & \mathbf{0}^\prime \\ \mathbf{0} & C^{-1}} = \pmatrix{\frac{1}{n} & \mathbf{0}^\prime \\ \mathbf{0} & \frac{1}{n-1}\Sigma^{-1}}.$

$(1)$

\begin{aligned} h_{i} & = (1; x_{i}) (\begin{matrix} \frac{1}{n} & 0^{'} \\ 0 & \frac{1}{n - 1} Σ^{- 1} \end{matrix}) (1; x_{i})^{'} \\ = \frac{1}{n} + \frac{1}{n - 1} x_{i} Σ^{- 1} x_{i}^{'} \\ = \frac{1}{n} + \frac{1}{n - 1} D^{2} (x_{i}, 0) . \end{aligned}

$\eqalign{ h_i &= (1; \mathbf{x}_i) \pmatrix{\frac{1}{n} & \mathbf{0}^\prime \\ \mathbf{0} & \frac{1}{n-1}\Sigma^{-1}}(1; \mathbf{x}_i)^\prime \\ &=\frac{1}{n} + \frac{1}{n-1}\mathbf{x}_i \Sigma^{-1}\mathbf{x}_i^\prime \\ &=\frac{1}{n} + \frac{1}{n-1} D^2(\mathbf{x}_i, \mathbf{0}). }$

$D_i^2 = D^2(\mathbf{x}_i, \mathbf{0})$

D_{i}^{2} = (n - 1) (h_{i} - \frac{1}{n}),

$D_i^2 = (n-1)\left(h_i - \frac{1}{n}\right),$

QED .

$1/n$ $X$ $n-1$ $n-1$ $n$

$i$

관계가 실제로 유지됨을 보여주는 R 코드 :

x <- mtcars

# Compute Mahalanobis distances
h <- hat(x, intercept = TRUE); names(h) <- rownames(mtcars)
M <- mahalanobis(x, colMeans(x), cov(x))

# Compute D^2 of the question
n <- nrow(x); D2 <- (n-1)*(h - 1/n)

# Compare.
all.equal(M, D2)               # TRUE
print(signif(cbind(M, D2), 3))

— 우버
소스

훌륭한 답변, 엄격하고 직관력이 매우 우수합니다. 건배!

— cgrudz

게시물 @ whuber 감사합니다! 온 전성 검사의 경우 관계가 실제로 유지됨을 나타내는 R 코드가 있습니다. x <-mtcars rownames (x) <-NULL colnames (x) <-NULL n <-nrow (x) h <-hat (x, T) 마할 라 노비스 (x, colMeans (x), cov (x)) (n-1) * (h-1 / n) all.equal (mahalanobis (x, colMeans (x), cov (x)), (n-1 ) * (h-1 / n))

— Tal Galili

@Tal 나는 위생 검사가 필요하다고 생각하지 않았지만 코드에 감사드립니다. :-) 나는 그것을 명확히하고 그 출력을 약간 수정했습니다.

— whuber

@ whuber, 나는 평등을 작동시키는 방법을 보여주는 예를 원했습니다 (가정을 올바르게 가지고 있음을 나에게 분명히합니다). 나는 또한 관련 Wiki 항목을 확장했습니다 : en.wikipedia.org/wiki/… (당신이 적합하다고 생각하면 자유롭게 지출하십시오 :))

— Tal Galili