중앙값이 평균보다 공정합니까?

나는 최근에 일반적으로 특이 치를 제거하기 위해 중간 값을 사용해야한다는 충고를 읽었습니다. 예 : 다음 기사 http://www.amazon.com/Forensic-Science-Introduction-Scientific-Investigative/product-reviews/1420064932/

현재 16 리뷰가 있습니다 :

review= c(5, 5, 5, 5, 5, 5, 5, 5, 5, 5, 4, 4, 3, 2, 1, 1)
summary(review)  ## "ordinary" summary

Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
1.000   3.750   5.000   4.062   5.000   5.000 

평균 을 사용 하면 기사에 별 4 개가 표시되지만 중간 값 을 사용 하면 별 5 개가 표시됩니다.

중앙값은 '공정한'판사가 아닌가?

실험에 따르면 중앙값의 오차는 항상 평균보다 큽니다. 중앙값이 더 나쁩니 까?

library(foreach)

#the overall population of bookjudgments
n<-5
p<-0.5
expected.value<-n*p
peoplesbelieve <-rbinom(10^6,n, p)

#16 ratings made for 100 books
ratings <- foreach(i=1:100, .combine=rbind) %do% sample(peoplesbelieve,16)
stat <- foreach(i=1:100, .combine=rbind) %do% c(mean=mean(ratings[i,]), median=median(ratings[i,]))

#which mean square error is bigger? Mean's or Median's?
meansqrterror.mean<-mean((stat[,"mean"]-expected.value)^2)
meansqrterror.median<-mean((stat[,"median"]-expected.value)^2)

res<-paste("mean MSE",meansqrterror.mean)
res<-paste(res, "| median MSE", meansqrterror.median)
print(res)

문제는 등급이 양호하거나 공정하다는 의미를 실제로 정의하지 않았다는 것입니다. @Kevin의 답변에 대한 의견에서 하나의 나쁜 리뷰가 항목을 무너 뜨면 마음에 들지 않습니다. 그러나 하나는 "완벽한 기록"을 갖고 다른 하나는 나쁜 리뷰를 가지고있는 두 항목을 비교하면 차이가 반영 될 수 있습니다.

중앙값과 평균 사이에 전체 (고차원 적) 연속체가 있습니다. 값별로 투표를 주문한 다음 순서에 따라 위치에 따라 가중치를 적용하여 가중치를 적용 할 수 있습니다. 평균은 모든 가중치가 같고 중간 값이 중간에 0이 아닌 가중치를받는 하나 또는 두 항목에만 해당하며, 트림 된 평균은 첫 번째와 마지막 커플을 제외하고 모두 같은 가중치를 부여하는 것에 해당하지만 가중치를 결정할 수도 있습니다. 무게가 1 인 n 개의 샘플 중 번째$k$$n$ 또는exp(-(2k-1-n)$\frac{1}{1 + (2 k - 1 - n)^2}$, 거기에 무작위로 무언가를 던지십시오. 어쩌면 이상치의 무게는 줄어들지 만 0이 아닌 양의 가중 평균은 중간과 평균의 좋은 특성을 결합 할 수 있습니까?$\exp(-\frac{(2k - 1 - n)^2}{n^2})$

당신이 얻는 대답은 당신이 묻는 질문에 달려 있습니다.

평균과 중앙값은 다른 질문에 대답합니다. 그래서 그들은 다른 대답을합니다. 한 사람이 다른 사람보다 "공정한"사람이 아닙니다. 중앙값은 종종 비대칭 데이터 (예 : 소득)와 함께 사용됩니다. 그러나 거기에서도 때로는 평균이 가장 좋습니다. 때로는 중심 경향의 측정을 원하지 않을 수도 있습니다.

또한 중심 경향을 측정 할 때마다 어느 정도 확산을 측정해야합니다. 가장 일반적인 쌍은 평균 표준 편차와 중간 사 분위수 범위입니다. 이 데이터에서 5의 중앙값을 제공하는 것은 오해의 소지가 있거나 적어도 정보가없는 것 같습니다. 모든 단일 투표가 5이면 중앙값은 5가됩니다.

유일한 선택이 1에서 5 사이의 정수라면 실제로 이상 값으로 간주 될 수 있습니까?

$\alpha = 0.05$

Grubbs test for one outlier

data:  review  G = 2.0667, U = 0.6963,
p-value = 0.2153 alternative
hypothesis: lowest value 1 is an outlier

실험에 따르면 중앙값의 오차는 항상 평균보다 큽니다.

사용하는 비용 기능에 따라 다릅니다.

MSE는 평균적으로 최소화됩니다. 따라서 MSE를 사용하면 중간 값이 항상 평균보다 나쁩니다.

그러나 절대 오차를 사용하면 평균보다 더 나빠질 것입니다!

이것에 대한 좋은 설명은 여기에서 찾을 수 있습니다 : http://www.johnmyleswhite.com/notebook/2013/03/22/modes-medians-and-means-an-unifying-perspective/

선택은 문제와 환경 설정에 따라 다릅니다. 특이 치가 "중심점"의 위치에 큰 영향을 미치지 않게하려면 중앙값을 선택하십시오. 특이 치에 관심이있는 경우 평균을 선택합니다.

빠른 생각 :

각 등급이 잠재 연속 변수에서 도출되었다고 가정하면이 기본 분포의 평균이 아니라이 기본 연속 연속 관심 변수의 중앙값을 관심 가치로 정의 할 수 있습니다. 분포가 대칭 인 경우 평균과 중앙값은 궁극적으로 동일한 양을 추정합니다. 분포가 왜곡되면 중앙값이 평균과 다를 수 있습니다. 이 경우 내 생각에 중앙값은 일반적인 값으로 생각하는 것과 더 일치합니다. 이것은 평균이 아닌 평균 소득과 중간 주택 가격이 일반적으로보고되는 이유를 이해하는 데 도움이됩니다.

그러나 이산 값이 적 으면 중앙값의 성능이 저하됩니다.

아마도 밀도 추정 절차를 사용한 다음 그 중간 값을 취하거나 보간 된 중간 값을 사용할 수 있습니다.

별표 평점에 중간 값을 사용하는 것의 가장 좋은 점은 스마트 사용자 (중앙값 사용을 인식)가 시스템을 "게임"하지 않는다는 것입니다.

합리적 사용자가 적절한 등급이 4 개의 별이어야한다고 생각하지만 현재 4.5 개의 별이있는 경우 4 개의 별을 얻는 가장 좋은 방법 (6 개 이상의 투표가 있다고 가정)은 평균 기반 등급 시스템에서 1 개의 별을 투표하는 것입니다. .

중간 기반 시스템에서 사용자의 합리적인 선택은 단순히 사용자가 제품에 대해 생각하는 별 수에 정확하게 투표하는 것입니다.

그것은 별 등급 시스템과 동등한 두 번째 가격 경매입니다.

몇 가지 좋은 답변은 여전히 ​​더 많은 의견을 제시 할 여지를 남깁니다.

첫째, 중앙값이 특이 치를 제거하기위한 것이라는 아이디어에 반대 한 사람은 없지만 자격을 갖출 것입니다. 의도 된 의미는 분명하지만 실제 데이터는 더 복잡하기 쉽습니다. 대부분의 중앙값은 특이 치를 할인하거나 무시하기위한 것이지만 보장되지는 않습니다. 예를 들어, 등급이 1 1 1 5 5 5 인 중앙값과 평균은 3에 동의하므로 모두 양호 해 보일 수 있습니다. 그러나 추가 5는 중앙값을 5로 기울이고 추가 1은 중앙값을 1로 기울입니다. 평균은 각 경우에 약 0.286 씩 움직입니다. 따라서 평균은 중앙값보다 저항력이 높습니다. 이 예는 비정상적으로 무시 될 수 있지만 터무니없는 것은 아닙니다. 요점은 자연스럽고 독창적이지 않습니다. 한 곳은 Mosteller, F. 및 Tukey, JW 1977에 있습니다. 데이터 분석 및 회귀. 레딩, MA : Addison-Wesley, 34-35 쪽.

둘째, 잘린 수단이 언급되었으며 아이디어는 더 큰 추진력이 있습니다. 분석가가 하나 또는 다른 것을 선택 (투표)해야하는 평균 및 중간 값이 확실한 대안 일 필요는 없습니다. 각 꼬리에서 특정 수의 값을 다듬는 것에 따라 가능한 모든 다듬은 수단을 고려할 수 있습니다 . 이 표는 평균 계산에 포함 된 값의 수를 #으로 표시합니다.

  +----------------------------+
  | number    #   trimmed mean |
  |----------------------------|
  |      0   16         4.0625 |
  |      1   14       4.214286 |
  |      2   12       4.416667 |
  |      3   10            4.6 |
  |      4    8           4.75 |
  |      5    6       4.833333 |
  |      6    4              5 |
  |      7    2              5 |
  +----------------------------+

여기서 가장 중요한 점은 극단적 인 가치로 인해 해고 될 위험에 대비 한 일종의 보험으로 할인 비율 (각 꼬리에 너무 많은 값을 무시하는 것으로 간주)을 선택할 수 있다는 것입니다. 내가 보는 것은 평균과 중앙값 사이의 상당히 부드러운 그라디언트입니다. 가능한 값 1, 2, 3, 4, 5가 모두 데이터에 있기 때문에 여기에서 예상됩니다. 고립 된 이상 값으로 시퀀스에서 큰 도약이 예상됩니다.

각 꼬리에서 같은 숫자를 다듬을 수있는 손질 된 수단이있을 의무는 없지만, 확장하지는 않겠습니다.

셋째, 예는 Amazon 리뷰입니다. 컨텍스트는 항상 데이터 요약 방법을 안내하는 데 적합합니다 . 아마존 리뷰의 경우 가장 좋은 답변은 리뷰를 읽는 것입니다! 높은 점수와 낮은 점수가 모두 가짜 근거에있을 수 있으며 (내재적으로 :이 책의 저자는 내 친구입니다) 귀하의 결정과 무관하게 (명시 적으로, 리셀러가 저를 잘못 대우했습니다) 명백하지 않습니다. 이러한 데이터를 요약하는 방법에 대한 시사점, 실제로 아마존이 최대한의 정보를 제공하는 분포를 보여줌으로써.

넷째, 가장 초등 적이지만 모든 사람의 기본은 누구를 선택하게합니까? 때때로 평균과 중앙값을 모두보고해야합니다 (또한 분포 그래프도 언급 해야 함 ).