표준 편차에서 절대 값을 취하는 대신 차이를 제곱하는 이유는 무엇입니까?

표준 편차의 정의 에서 평균과의 차이 를 제곱 하여 평균 (E)을 구하고 마지막에 제곱근을 되 찾아야하는 이유는 무엇입니까? 단순히 차이 의 절대 값 을 가져 와서 그 값 의 기대 값 (평균)을 얻을 수없고 데이터의 변화도 보여줄 수 없습니까? 숫자는 제곱 방법과 다르지만 (절대 값 방법은 더 작음) 여전히 데이터의 분산을 보여야합니다. 왜 우리가 왜이 사각형 접근 방식을 표준으로 사용하는지 알고 있습니까?

표준 편차의 정의 :

$\sigma = \sqrt{E\left[\left(X - \mu\right)^2\right]}.$

대신 절대 값을 가져와도 여전히 좋은 측정을 할 수는 없습니까?

$\sigma = E\left[|X - \mu|\right]$

표준 편차의 목표가 대칭 데이터 세트의 확산을 요약하는 것이라면 (즉, 일반적으로 각 데이텀이 평균에서 얼마나 멀리 떨어져 있는지), 해당 확산을 측정하는 방법을 정의하는 좋은 방법이 필요합니다.

제곱의 장점은 다음과 같습니다.

• 제곱은 항상 양수 값을 제공하므로 합계가 0이 아닙니다.
• Squaring은 더 큰 차이점을 강조합니다.이 기능은 좋고 나쁜 것으로 밝혀졌습니다 (이상치의 영향을 생각하십시오).

그러나 제곱은 산포의 척도로서 문제가 있습니다. 즉, 단위가 모두 제곱 인 반면, 스프레드는 원래 데이터와 동일한 단위 (제곱 파운드, 제곱 달러 또는 제곱 사과로 생각)와 같은 단위를 선호 할 수 있습니다. . 따라서 제곱근을 사용하면 원래 단위로 돌아갈 수 있습니다.

절대 차이가 데이터 분산에 동일한 가중치를 할당하는 반면, 제곱은 극단을 강조한다고 말할 수 있습니다. 기술적으로, 다른 사람들이 지적했듯이, 제곱은 대수를 다루기가 훨씬 쉬워지고 절대 방법이하지 않는 속성을 제공합니다 (예 : 분산은 분포의 제곱에서 제곱의 제곱을 뺀 값과 같습니다) 분포의 평균)

그러나 '스프레드'를 보는 방법에 대한 선호도 (값의 마법 임계 값으로 5 %를 보는 사람들의 정렬 방식)를 선호하는 경우 절대 차이를 취할 수없는 이유가 없다는 점에 유의 해야합니다. 실제로 상황에 따라 다릅니다). 실제로 스프레드를 측정하기위한 여러 가지 경쟁 방법이 있습니다.$p$

피타고라스 통계 정리와의 관계를 생각하기 때문에 제곱 값을 사용하는 것이 좋습니다. … 이것은 또한 독립적 인 임의의 변수로 작업 할 때 그것을 기억하는 데 도움이됩니다 , 차이가 추가되고 표준 편차는 그렇지 않습니다. 그러나 그것은 내가 주로 기억 보조제로만 사용하는 개인적인 개인적 주관적 취향입니다.이 단락을 무시하십시오.$c = \sqrt{a^2 + b^2}$

훨씬 더 심층적 인 분석은 여기에서 읽을 수 있습니다 .

제곱 차이는 더 좋은 수학적 속성을 갖습니다. 지속적으로 차별화 할 수 있고 (최소화하고 싶을 때) 가우시안 분포를위한 충분한 통계량이며, 수렴 등을 증명하는 데 유용한 L2 규범 (버전)입니다.

평균 절대 편차 (추천 된 절대 값 표기법)도 분산 측정으로 사용되지만 제곱 오차만큼 "잘 동작"하지는 않습니다.

이것을 생각할 수있는 한 가지 방법은 표준 편차가 "평균으로부터의 거리"와 유사하다는 것입니다.

이것을 유클리드 공간의 거리와 비교하십시오-이것은 당신에게 제안한 것 (btw, 절대 편차 )이 맨해튼 거리 계산 과 같은 실제 거리를 제공합니다 .

절대 오차 대신 표준 편차를 계산 하는 이유 는 오차를 정규 분포 로 가정하고 있기 때문 입니다. 모델의 일부입니다.

자를 사용하여 매우 작은 길이를 측정한다고 가정하면 실수로 음의 길이를 측정하지 않는다는 것을 알기 때문에 표준 편차는 오류에 대한 나쁜 측정법입니다. 더 나은 메트릭은 감마 분포를 측정에 맞추는 데 도움이되는 것입니다.

$\log(E(x)) - E(\log(x))$

표준 편차와 마찬가지로, 이것은 음이 아니고 미분 할 수 있지만이 문제에 대한 더 나은 오류 통계입니다.

나를 가장 만족시킨 대답은 샘플의 일반화에서 n 차원 유클리드 공간으로 자연스럽게 나왔다는 것입니다. 그것이 반드시해야 할 일인지 여부는 확실하지만 논쟁의 여지가 있습니다.

측정 값 가 각각 의 축 이라고 가정합니다 . 그런 다음 데이터 는 해당 공간에서 점 를 정의합니다 . 이제 데이터가 서로 매우 유사하다는 것을 알 수 있으므로 의해 정의 된 행에 있는 단일 위치 매개 변수 를 나타낼 수 있습니다 . 이 선에 데이터 포인트를 투영하면 가되고 투영 포인트 에서 실제 데이터 포인트 까지의 거리는.$n$$X_i$$\mathbb R^n$$x_i$$\bf x$$\mu$$X_i=\mu$$\hat\mu=\bar x$$\hat\mu\bf 1$$\sqrt{\frac{n-1} n}\hat\sigma=\|\bf x-\hat\mu\bf 1\|$

이 접근법은 또한 상관 관계에 대한 기하학적 해석을 제공합니다. .$\hat\rho=\cos \angle(\vec{\bf\tilde x},\vec{\bf\tilde y})$

평균과의 차이를 제곱하는 데는 몇 가지 이유가 있습니다.

• 분산은 편차의 두 번째 모멘트 (여기서 RV는 )로 정의되므로 모멘트 인 제곱은 단순히 랜덤 변수의 더 높은 거듭 제곱의 기대치입니다.$(x-\mu)$

• 절대 값 함수와 반대로 제곱을 갖는 것은 연속적이고 차별화 가능한 함수를 제공합니다 (절대 값은 0에서 구별 할 수 없음). 이는 특히 추정 및 회귀 분석의 맥락에서 자연스럽게 선택합니다.

• 제곱 된 공식은 자연적으로 정규 분포의 모수에서 벗어납니다.

또 다른 이유 (위의 우수한 것들과 더불어)는 표준 편차가 절대 편차보다 "효율적"이라는 피셔 자신에게서 나왔습니다. 여기에서 통계는 모집단의 다양한 표본 추출에서 통계 값이 얼마나 변동하는지와 관련이 있습니다. 모집단이 정규 분포를 따르는 경우 해당 모집단의 다양한 표본에 대한 표준 편차는 평균적으로 서로 비슷한 값을 나타내는 경향이있는 반면, 절대 편차는 조금 더 퍼지는 숫자를 제공합니다. 자, 이것은 분명히 이상적인 환경에 있지만,이 이유 때문에 많은 사람들이 수학을 더 깨끗하게 할 수 있었으므로 대부분의 사람들은 표준 편차로 일했습니다.

사람들이 알듯이 같은 주제에 대해 수학 오버플로 질문이 있습니다.

표준 편차에 대한 이유가 그렇게 냉정한 이유는?

테이크 아웃 메시지는 분산의 제곱근을 사용하면 수학이 쉬워진다는 것입니다. 위의 Rich와 Reed도 비슷한 반응을 보여줍니다.

$\newcommand{\var}{\operatorname{var}}$ 차이는 부가 적입니다 : 독립 랜덤 변수 , $X_1,\ldots,X_n$

$$\var(X_1+\cdots+X_n)=\var(X_1)+\cdots+\var(X_n).$$

이것이 무엇을 가능하게하는지 주목하십시오 : 공정한 동전을 900 번 던지십시오. 내가 얻는 헤드 수가 440에서 455 사이에있을 확률은 얼마입니까? 예상 헤드 수 ( )와 헤드 수의 분산 ( )을 찾은 다음 기대 표준 (또는 가우시안) 분포로 확률을 표준 편차 는 와 . 아브라함 데 모 이브 르 (Abraham de Moivre)는 18 세기 동전 던지기로 이것을 행했으며, 먼저 종 모양의 곡선이 가치가 있음을 보여주었습니다.$450$$225=15^2$$450$$15$$439.5$$455.5$

단일 변수를 넘어 선형 회귀에 대해 생각하면 절대 편차와 제곱 편차의 대비가 더 명확 해집니다. http://en.wikipedia.org/wiki/Least_absolute_deviations , 특히 "최소 절대 편차와 최소 사각형을 대조"섹션 에서 멋진 토론 이 있습니다 . .math.wpi.edu / Course_Materials / SAS / lablets / 7.3 / 73_choices.html .

요약하면, 최소 절대 편차는 일반 최소 제곱보다 특이 치에 비해 강력하지만 불안정 할 수 있습니다 (단일 데이텀의 작은 변화도 적합 선에 큰 변화를 줄 수 있음). 항상 고유 한 솔루션이있는 것은 아닙니다. 모든 피팅 라인. 또한 최소 절대 편차에는 반복 방법이 필요하지만 일반 최소 제곱에는 단순한 닫힌 형태의 솔루션이 있지만 현재 Gauss and Legendre 시대와 같이 큰 문제는 아닙니다.

여러 가지 이유가 있습니다. 아마도 주 분포는 정규 분포의 매개 변수로 잘 작동한다는 것입니다.

여러 가지면에서 분산을 요약하기 위해 표준 편차를 사용하는 것이 결론에 이르렀습니다. SD는 평균 이상의 거리와 평균 이하의 거리를 동일하게 처리하기 때문에 내재적으로 대칭 분포를 가정한다고 말할 수 있습니다. SD는 놀랍게도 비 통계 학자에게는 해석하기가 어렵다. 지니의 평균 차이가 더 광범위하게 적용되며 훨씬 더 해석하기 쉽다고 주장 할 수 있습니다. SD의 사용이 평균을 위해하는 것처럼 중심 경향의 척도에 대한 선택을 선언 할 필요는 없다. Gini의 평균 차이는 두 가지 관측치 간의 평균 절대 차이입니다. 강력하고 해석하기 쉬울뿐만 아니라 분포가 실제로 가우스 인 경우 SD만큼 0.98이 효율적입니다.

분포의 표준 편차를 추정하려면 거리를 선택해야합니다.
다음 거리 중 하나를 사용할 수 있습니다.

$$d_n((X)_{i=1,\ldots,I},\mu)=\left(\sum | X-\mu|^n\right)^{1/n}$$

우리는 보통 자연 유클리드 거리 ( )를 사용하는데, 이는 모두가 일상 생활에서 사용하는 거리 입니다. 제안하는 거리는 거리입니다 . 둘 다 좋은 후보이지만 서로 다릅니다.n = $n=2$$n=1$

을 사용하기로 결정할 수도 있습니다.$n=3$

나는 당신이 내 대답을 좋아할 것이라고 확신하지 못합니다. 다른 사람들과 반대되는 요점은 가 더 낫다는 것을 나타내지 않습니다 . 분포의 표준 편차를 추정하려면 절대 다른 거리를 사용할 수 있다고 생각합니다.$n=2$

"데이터의 확산"이라고 말할 때 말하는 내용에 따라 다릅니다. 나에게 이것은 두 가지를 의미 할 수 있습니다.

1. 샘플링 분포의 너비
2. 주어진 견적의 정확성

포인트 1)의 경우 정규 표본 추출 분포가있는 경우를 제외하고는 표준 편차를 확산 측정으로 사용해야하는 특별한 이유가 없습니다. Laplace Sampling 분포 의 경우 측정 값 가 더 적절한 측정 값입니다 . 내 생각에 2) 지점에서 직관이 이어지기 때문에 표준 편차가 여기에 사용됩니다. 아마도 표준 편차가 적절한 척도 인 최소 제곱 모델링의 성공 때문일 수도 있습니다. 아마도 대부분의 분포에서 계산하는 것이 일반적으로 를 계산하는 것보다 쉽기 때문일 것 입니다.$E(|X-\mu|)$$E(X^2)$$E(|X|)$

이제 포인트 2)의 경우 분산 / 표준 편차를 확산의 척도로 사용하는 데는 매우 적절한 이유가 있지만, 매우 일반적인 경우입니다. Laplace 근사치에서 후부로 볼 수 있습니다. 데이터 및 이전 정보 로 다음과 같이 매개 변수 의 사후를 작성하십시오 .$D$$I$$\theta$

$$p(\theta\mid DI)=\frac{\exp\left(h(\theta)\right)}{\int \exp\left(h(t)\right)\,dt}\;\;\;\;\;\;h(\theta)\equiv\log[p(\theta\mid I)p(D\mid\theta I)]$$

나는 분모가 의존하지 않음을 나타 내기 위해 더미 변수로 를 사용했습니다 . 후자가 단일 반올림 최대 값을 갖는 경우 (즉, "경계"에 너무 가깝지 않은 경우) 최대 대한 로그 확률을 확장 할 수 있습니다 . 우리가 테일러 확장의 처음 두 용어를 취하면 우리는 다음과 같이 얻을 수 있습니다 (분화를 위해 소수 사용).$t$$\theta$$\theta_\max$

$$h(\theta)\approx h(\theta_\max)+(\theta_\max-\theta)h'(\theta_\max)+\frac{1}{2}(\theta_\max-\theta)^{2}h''(\theta_\max)$$

그러나 여기서 우리는 가 "잘 반올림 된"최대 값이므로 이므로 다음과 같이합니다.$\theta_\max$$h'(\theta_\max)=0$

$$h(\theta)\approx h(\theta_\max)+\frac{1}{2}(\theta_\max-\theta)^{2}h''(\theta_\max)$$

이 근사값을 꽂으면 다음과 같은 결과가 나타납니다.

$$p(\theta\mid DI)\approx\frac{\exp\left(h(\theta_\max)+\frac{1}{2}(\theta_\max-\theta)^{2}h''(\theta_\max)\right)}{\int \exp\left(h(\theta_\max)+\frac{1}{2}(\theta_\max-t)^{2}h''(\theta_\max)\right)\,dt}$$

$$=\frac{\exp\left(\frac{1}{2}(\theta_\max-\theta)^{2}h''(\theta_\max)\right)}{\int \exp\left(\frac{1}{2}(\theta_\max-t)^{2}h''(\theta_\max)\right)\,dt}$$

그러나 표기법의 경우 평균은 이고 분산은$E(\theta\mid DI)\approx\theta_\max$

$$V(\theta\mid DI)\approx \left[-h''(\theta_\max)\right]^{-1}$$

( 는 반올림 된 최대 값을 가지므로 항상 양수입니다). 따라서 이는 "정규 문제"(대부분의 문제)에서 분산이 추정값의 정확도를 결정하는 기본 수량임을 의미합니다 . 따라서 많은 양의 데이터를 기반으로 한 추정의 경우 이론적으로 표준 편차가 의미가 있습니다. 기본적으로 알아야 할 모든 것을 알려줍니다. 본질적으로 는 Hessian 행렬입니다. 대각선 항목도 본질적으로 차이가 있습니다.$-h''(\theta_\max)$$\theta$$h''(\theta)_{jk}=\frac{\partial h(\theta)}{\partial \theta_j \, \partial \theta_k}$

MLE가 데이터의 가중치 조합 인 경향이 있기 때문에 최대 우도의 방법을 사용하는 잦은 주의자는 본질적으로 동일한 결론에 도달하게됩니다. 큰 표본의 경우 중앙 한계 정리가 적용되며 이지만 와 : (내가 선호하는 패러다임을 추측 할 수 있는지 확인하십시오 : P). 따라서 매개 변수 추정에서 표준 편차는 중요한 이론적 인 스프레드 측정입니다.$p(\theta\mid I)=1$$\theta$$\theta_\max$

$$p(\theta_\max\mid\theta)\approx N\left(\theta,\left[-h''(\theta_\max)\right]^{-1}\right)$$

"절대 가치를 취하는 것"대신 "왜 차이를 제곱 하는가?" 매우 정확하게 대답하기 위해, 채택 된 이유와 그 이유 중 대부분이 유지되지 않는 이유를 설명하는 문헌이 있습니다. "우리는 단순히 절대 가치를 취할 수 없다 ...?" 나는 그 대답이 맞다는 문헌을 알고 있으며, 그렇게하는 것이 유리하다고 주장한다.

저자 Gorard는 먼저 사각형을 사용하는 것이 계산의 단순성 때문에 원래 채택되었지만 원래의 이유는 더 이상 유지되지 않는다고 말합니다. Gorard는 둘째, Fisher가 OLS를 사용한 분석 결과에서 절대 차이를 사용한 것보다 편차가 더 작다는 사실을 발견했기 때문에 OLS가 채택되었다고 말합니다 (대략 언급). 따라서 OLS는 일부 이상적인 상황에서 이점이있을 수 있습니다. 그러나 Gorard는 실세계 조건 (관찰의 불완전한 측정, 불균일 분포, 표본으로부터 유추하지 않은 집단에 대한 연구)에서 제곱을 사용하는 것이 더 나쁘다는 일부 합의가 있음을 지적합니다. 절대적인 차이.

귀하의 질문에 대한 Gorard의 답변 "우리는 단순히 차이의 절대 값을 취하여 그 값의 예상 값 (평균)을 얻을 수 없습니까?" 예입니다. 또 다른 장점은 차이를 사용하면 인생에서 그러한 아이디어를 경험하는 방식과 관련된 측정 (오류 및 변형 측정)을 생성한다는 것입니다. 고라 드는 식당 계산서를 균등하게 나누는 사람들을 상상 해보자. 아무도 오류를 제곱하지 않습니다. 차이점이 핵심입니다.

마지막으로, 절대 차이를 사용하면 각 관측 값을 동일하게 처리하는 반면 대조적으로 차이를 제곱하면 관측 값이 잘 예측 된 관측 값보다 가중치가 크게 예측되지 않습니다. 이는 특정 관측 값을 여러 번 연구에 포함시키는 것과 같습니다. 요약하자면, 그의 일반적인 견해는 오늘날 사각형을 사용해야 할 승리 이유가 많지 않으며 절대적인 차이를 사용하는 것이 장점이 있다는 것입니다.

참고 문헌 :

• Gorard, S. (2005). 90 세의 토론 재 방문 : 평균 편차의 장점 , British Journal of Educational Studies, 53 , 4, pp. 417-430.
• Gorard, S. (2013). 평균 절대 편차 '효과'크기의 가능한 장점 , 사회 연구 업데이트 , 65 : 1.

정사각형은 절대 값보다 더 많은 다른 수학 연산이나 함수를 더 쉽게 사용할 수 있기 때문입니다.

예 : 정사각형을 통합하고 차별화 할 수 있으며 삼각법, 대수 및 기타 기능에 쉽게 사용할 수 있습니다.

랜덤 변수를 추가 할 때 모든 분포에 대해 분산이 추가됩니다. 분산 (따라서 표준 편차)은 거의 모든 분포에 유용한 척도이며 가우스 분포 (일명 "정규") 분포에 제한되지 않습니다. 그것은 우리의 오류 척도로 사용하는 것을 선호합니다. 고유성 결여는 절대적으로 차이가있는 심각한 문제입니다. 종종 동일한 수의 "피트"가 무한하지만 "중간에 하나"가 가장 현실적으로 선호되기 때문입니다. 또한 오늘날의 컴퓨터에서도 계산 효율성이 중요합니다. 큰 데이터 세트로 작업하며 CPU 시간이 중요합니다. 그러나 일부 이전 답변에서 지적했듯이 잔차에 대한 절대적인 "최상의"단일 측정 값은 없습니다. 상황에 따라 때때로 다른 조치가 필요합니다.

당연히 의미있는 방식으로 분포의 분산을 설명 할 수 있습니다 (절대 편차, Quantile 등).

한 가지 좋은 사실은 분산이 두 번째 중심 모멘트이며 모든 분포는 존재하는 경우 모멘트로 고유하게 설명됩니다. 또 다른 좋은 사실은 분산이 다른 어떤 메트릭보다 수학적으로 훨씬 다루기 쉽다는 것입니다. 또 다른 사실은 분산이 정규 모수화에 대한 정규 분포의 두 매개 변수 중 하나이며, 정규 분포에는 두 개의 매개 변수 인 0이 아닌 중심 모멘트가 2 개만 있다는 것입니다. 비정규 분포에서도 정규 프레임 워크로 생각하면 도움이 될 수 있습니다.

내가 알다시피, 표준 편차가 존재하는 이유는 응용 프로그램에서 분산의 제곱근이 규칙적으로 나타나며 (예 : 임의의 가변적 표준화), 그에 대한 이름이 필요했기 때문입니다.

선형 회귀 분석과 중앙 회귀 분석에 대해 생각할 때 다른 직관적 인 방법이 있습니다.

모델이 . 그런 다음 b는 예상 제곱 잔차 인 를 최소화함으로써 b를 찾습니다 .$\mathbb{E}(y|x) = x\beta$$\beta = \arg \min_b \mathbb{E} (y - x b)^2$

대신 모델이 중간 값 이면 절대 잔차 를 최소화하여 모수 추정값을 찾습니다 ..$(y|x) = x\beta$$\beta = \arg \min_b \mathbb{E} |y - x b|$

즉, 절대 오차 또는 제곱 오차를 사용할지 여부는 예상 값을 모델링할지 중간 값을 모델링할지에 따라 다릅니다.

예를 들어 분포가 기울어 진 이분산성을 표시하는 경우 의 예상 값 기울기가 에 대해 어떻게 변화 하는지 와 의 중간 값에 대한 기울기가 어떻게 변하는 지에 큰 차이가 있습니다.$y$$x$$y$

Koenker와 Hallock은 Quantile Regression에 대한 훌륭한 자료를 가지고 있는데, 여기서 회귀 중앙값은 특별한 경우입니다 : http://master272.com/finance/QR/QRJEP.pdf .

내 추측은 이것입니다 : 대부분의 인구 (분포)는 평균 주위에 모이는 경향이 있습니다. 값이 평균에서 멀수록 더 ​​드문 것입니다. 값이 얼마나 "줄을 벗어 났는가"를 적절하게 표현하기 위해서는 평균으로부터의 거리와 (보통 말하면) 발생 빈도를 모두 고려해야합니다. 편차가 더 작은 값과 비교하여 평균과의 차이를 제곱합니다. 모든 분산이 평균화되면 제곱근을 취하여 단위를 원래 치수로 되 돌리는 것이 좋습니다.

제곱은 큰 편차를 증폭시킵니다.

표본에 차트 전체의 값이있는 경우 첫 번째 표준 편차 내에 68.2 %를 가져 오려면 표준 편차가 약간 더 넓어야합니다. 데이터가 모두 평균에 해당하는 경우 σ가 더 엄격 할 수 있습니다.

어떤 사람들은 계산을 단순화하는 것이라고 말합니다. 제곱의 양의 제곱근을 사용하면 인수가 부동되지 않도록 해결할 수 있습니다.

$|x| = \sqrt{x^{2}}$

따라서 대수 단순성이 목표라면 다음과 같이 보일 것입니다.

$\sigma = \text{E}\left[\sqrt{(x-\mu)^{2}}\right]$ 와 동일한 결과를 생성합니다 .$\text{E}\left[|x-\mu|\right]$

분명히 이것을 제곱하면 외부 오차를 증폭시키는 효과가 있습니다 (도!).

표준 편차에서 절대 값을 취하는 대신 차이를 제곱하는 이유는 무엇입니까?

자유도 (인구 측정에서 x의 수)의 제곱근에 비례하는 유클리드 거리가 분산의 가장 좋은 척도이기 때문에 x와 평균의 차이를 제곱합니다.

거리 계산

점 0에서 점 5까지의 거리는 얼마입니까?

• $5-0 = 5$ ,
• $|0-5| = 5$ 이고
• $\sqrt{5^2} = 5$

좋아, 그것은 하나의 차원이기 때문에 사소한 것입니다.

점 0, 0에서 점 3, 4까지의 점 거리는 어떻습니까?

도시 블록과 같이 한 번에 1 차원으로 만 갈 수 있다면 숫자를 더하면됩니다. (맨해튼 거리라고도 함).

그러나 한 번에 2 차원으로가는 것은 어떻습니까? 그런 다음 (우리 모두 고등학교에서 배운 피타고라스 정리에 의해) 우리는 각 차원에서 거리를 제곱하고 제곱을 합한 다음 제곱근을 취하여 원점에서 점까지의 거리를 찾습니다.

$$\sqrt{3^2 + 4^2} = \sqrt{25} = 5$$

0, 0, 0에서 1, 2, 2까지의 거리는 어떻습니까?

이건 그냥

$$\sqrt{1^2+2^2 + 2^2} = \sqrt9 = 3$$

처음 두 x의 거리가 최종 x와의 총 거리를 계산하기위한 구간을 형성하기 때문입니다.

$$\sqrt{\sqrt{x_1^2 + x_2^2}^2 + x_3^2} = \sqrt{x_1^2 + x_2^2 + x_3^2}$$

우리는 각 차원의 거리를 제곱하는 규칙을 계속 확장 할 수 있습니다. 이것은 초 차원 공간에서 직교 측정을 위해 다음과 같이 유클리드 거리라고 일반화합니다.

$$distance = \sqrt{ \sum_{i=1}^n{x_i^2} }$$

직교 제곱의 합은 제곱 거리입니다.

$$distance^2 = \sum_{i=1}^n{x_i^2}$$

측정을 다른 측정과 직교 (또는 직각)하는 것은 무엇입니까? 조건은 두 측정 사이에 관계가 없다는 것입니다. 우리는 이러한 측정 값이 독립적이고 개별적으로 분포 되어 있는지 ( iid ) 찾을 것입니다.

변화

이제 모집단 분산에 대한 공식을 기억하십시오 (표준 편차를 얻을 수 있음).

$$\sigma^2 = \frac{\displaystyle\sum_{i=1}^{n}(x_i - \mu)^2} {n}$$

평균을 빼서 데이터를 0으로 이미 중앙에 둔 경우 다음과 같은 결과가 나타납니다.

$$\sigma^2 = \frac{\displaystyle\sum_{i=1}^{n}(x_i)^2} {n}$$

따라서 분산은 단지 제곱 거리를 자유도 (변수가 자유롭게 변할 수있는 차원의 수)로 나눈 것입니다. 이는 측정 당 의 평균 기여도 입니다. "평균 제곱 분산"도 적절한 용어입니다.$distance^2$

표준 편차

그런 다음 표준 편차가 있습니다. 이는 표준 편차입니다.

$$\sigma = \sqrt{\frac{\displaystyle\sum_{i=1}^{n}(x_i - \mu)^2} {n}}$$

거리 도 자유도의 제곱근으로 나눈 것과 같습니다 .

$$\sigma = \frac{\sqrt{\displaystyle\sum_{i=1}^{n}(x_i)^2}} {\sqrt{n}}$$

평균 절대 편차

MAD (Mean Absolute Deviation)는 맨해튼 거리 또는 평균과의 차이의 절대 값의 합을 사용하는 분산 측정입니다.

$$MAD = \frac{\displaystyle\sum_{i=1}^{n}|x_i - \mu|} {n}$$

다시 데이터가 중심에 있다고 가정하면 (평균 차감) 맨해튼 거리를 측정 수로 나눈 값입니다.

$$MAD = \frac{\displaystyle\sum_{i=1}^{n}|x_i|} {n}$$

토론

• 평균 절대 편차는 정규 분포 데이터 세트의 표준 편차 크기의 약 0.8 배 ( 실제로$\sqrt{2/\pi}$ )입니다.
• 분포에 관계없이 평균 절대 편차는 표준 편차보다 작거나 같습니다. MAD는 표준 편차와 관련하여 극단적 인 값으로 데이터 세트의 분산을 강조합니다.
• 평균 절대 편차는 특이 치에 대해 더 강력합니다. 즉, 특이 치가 표준 편차에 대한 통계만큼 큰 영향을 미치지 않습니다.
• 기하학적으로 말하자면, 측정 값이 서로 직교하지 않는 경우 (iid)-예를 들어 양의 상관 관계가있는 경우 평균 절대 편차는 표준 편차보다 더 나은 기술 통계량이되며 유클리드 거리에 의존합니다 (일반적으로 미세한 것으로 간주되지만) ).

이 표는 위의 정보를보다 간결하게 반영합니다.

$$\begin{array}{lll} & MAD & \sigma \\ \hline size & \le \sigma & \ge MAD \\ size, \sim N & .8 \times \sigma & 1.25 \times MAD \\ outliers & robust & influenced \\ not\ i.i.d. & robust & ok \end{array}$$

코멘트:

"평균 절대 편차는 정규 분포 데이터 세트의 표준 편차 크기의 약 0.8 배"에 대한 참조가 있습니까? 내가 실행중인 시뮬레이션은 이것이 잘못되었음을 보여줍니다.

표준 정규 분포에서 백만 개의 샘플에 대한 10 가지 시뮬레이션이 있습니다.

>>> from numpy.random import standard_normal
>>> from numpy import mean, absolute
>>> for _ in range(10):
...     array = standard_normal(1_000_000)
...     print(numpy.std(array), mean(absolute(array - mean(array))))
... 
0.9999303226807994 0.7980634269273035
1.001126461808081 0.7985832977798981
0.9994247275533893 0.7980171649802613
0.9994142105335478 0.7972367136320848
1.0001188211817726 0.798021564315937
1.000442654481297 0.7981845236910842
1.0001537518728232 0.7975554993742403
1.0002838369191982 0.798143108250063
0.9999060114455384 0.797895284109523
1.0004871065680165 0.798726062813422

결론

유클리드 거리를 이용할 수 있기 때문에 분산 척도를 계산할 때 제곱 차이를 선호합니다. 상대적으로 극단적 인 값이 있으면 유클리드 거리는 통계의 거리를 차지하는 반면 맨해튼 거리는 각 측정에 동일한 가중치를 부여합니다.