95 번째 백분위 수 계산 : 정규 분포, R Quantile 및 Excel 접근법 비교

다음 데이터 세트에서 95 번째 백분위 수를 계산하려고했습니다. 나는 그것을하는 몇 가지 온라인 참조를 보았습니다.

접근법 1 : 샘플 데이터 기반

첫 번째 얻기 위해 나에게 말한다 TOP 95 Percent선택 후 데이터 세트를하고 MIN또는 AVG결과 세트의. 다음 데이터 세트에 대해 그렇게하면 나에게 도움이됩니다.

AVG: 29162
MIN: 0

접근법 2 : 정규 분포 가정

두 번째 는 95 번째 백분위 수가 평균보다 대략 두 가지 표준 편차이며 (내가 이해 한) 수행했습니다.

AVG(Column) + STDEV(Column)*1.65: 67128.542697973

접근법 3 : R Quantile

나는 R95 번째 백분위 수를 구했다.

> quantile(data$V1, 0.95)
79515.2

접근법 4 : 엑셀의 접근법

마지막으로 Excel 에서이 작업을 수행 하는 방법을 설명합니다. 방법의 요약은 다음과 같습니다.

일련의 N정렬 된 값 {v[1], v[2], ...}과 pth백분위 수 계산 요구 사항이 주어지면 다음을 수행하십시오.

계산하다 l = p(N-1) + 1
l정수 및 소수 구성 요소로 분할l = k + d
필요한 값을 다음과 같이 계산하십시오. V = v[k] + d(v[k+1] - v[k])

이 방법은 저에게 79515.2

R의 값이 올바른 값이라고 믿지만 값이 일치하지 않습니다 (ecdf 플롯에서도 관찰했습니다). 내 목표는 주어진 데이터 세트에서 수동으로 95 번째 백분위 수를 계산하는 것입니다 ( 함수 AVG및 STDEV함수 만 사용 ). 여기에 무슨 일이 일어나고 있는지 확실하지 않습니다. 누군가 내가 어디로 잘못 가고 있는지 말해 줄 수 있습니까?

r dataset quantiles sql

— 전설
소스

먼저 접근 방식을 다시 작성해야합니다.이 경우 "값의 상위 5 %를 가져와 최소값을 찾을 수 있습니다"(이 경우 79586) 또는 "하단 95 %를 가져 와서 최대 값을 찾을 수 있습니다"(이 경우)

— Henry

첫 번째 접근 방식은 완전히 잘못되었으며 95 백분위 수와 관련이 없습니다.

두 번째 접근 방식은 데이터가 정규 분포되어 있다는 가정에 기반한 것으로 보이지만 2 표준 편차가 아니라 평균보다 약 1.645 표준 편차 여야하며이를 실현 한 것으로 보입니다. 데이터가 정상적으로 분포되지 않은 경우이 방법은 좋지 않습니다.

95 번째 백분위 수를 직접 계산하려면 가장 작은 숫자부터 큰 숫자까지 순서대로 정렬하고 데이터의 95 %가 해당 값보다 낮은 값을 찾으십시오. R은 아마도 데이터 포인트 사이에 일종의 보간을 사용합니다. 간단한 근사값은입니다 sort(data$V1)[0.95*length(data$V1)].

@Macro의 의견 이후에 편집되었습니다.

— mark999
소스

솔루션을 data$V1미리 정렬해야합니다. 보다 일반적으로 sort(data$V1)[.95*length(data$V1)]원하는 근사값이됩니다. 그러나 .95*length(data$V1)정수가 아닌 경우 인덱싱 할 때 가장 가까운 정수로 내림하면 sort(data$V1)이 근사치가 항상 과소 평가됩니다.

— 매크로

귀하의 의견에 감사드립니다. 과소 평가에 대해 알고 있었기 때문에 간단한 근사라고 부르지 만 정렬을 포함하는 것을 잊었습니다. 답을 편집하겠습니다.

— mark999

@ mark999의 답변을 보완하는 몇 가지 사항이 있습니다.

Wikipedia에는 백분위 수에 대한 기사가 있는데 백분위 수 에 대한 표준 정의가 존재하지 않습니다. 그러나 몇 가지 공식이 논의됩니다.
크로포드, J .; Garthwaite, P. & Slick, D. 신경 심리학의 백분위 수 규범 : 백분위 수의 시험 점수에 대한 불확실성을 정량화하기위한보고 표준 및 방법 제안 Clinical Neuropsychologist, Psychology Press, 2009, 23, 1173-1195 ( 무료 PDF ) 심리학 규범 맥락 내 백분위 수 계산.

다음은 R의 몇 가지 사항을 탐구합니다.

데이터를 얻고 R Quantile 함수를 검사합니다

>  x <- c(93150, 93116, 93096, etc... [ABBREVIATED INPUT]
> help(quantile) # Note the 9 quantile algorithms
> rquantileest <- sapply(1:9, function(TYPE) quantile(x, .95, type=TYPE)) 
> rquantileest
     95%      95%      95%      95%      95%      95% 
79535.00 79535.00 79535.00 79524.00 79547.75 79570.70 
     95%      95%      95% 
79526.20 79555.40 79553.49 
> sapply(rquantileest, function(X) mean(x <= X))
      95%       95%       95%       95%       95% 
0.9501859 0.9501859 0.9501859 0.9494424 0.9501859 
      95%       95%       95%       95% 
0.9501859 0.9494424 0.9501859 0.9501859

help(quantile) R은 9 개의 상이한 양자 추정 알고리즘을 갖는다는 것을 보여준다.
다른 출력은 9 개의 알고리즘에 대한 추정값과 추정값보다 작거나 같은 데이터의 비율을 보여줍니다 (즉, 모든 값은 95 %에 가깝습니다).

정규 분포 가정과 비교

> # Estimate of the 95th percentile if the data was normally distributed
> qnormest <- qnorm(.95, mean(x), sd(x))
> qnormest
[1] 67076.4
> mean(x <= qnormest)
[1] 0.8401487

표본 평균과 표준 편차에 따라 정규 분포의 95 번째 백분위 수에 대해 매우 다른 값이 추정됩니다.
추정 된 값은 표본 데이터의 84 번째 백분위 수입니다.
아래 그림은 데이터가 명확하게 정규 분포를 따르지 않았으므로 정규성이 가정 될 때의 추정치가 멀다는 것을 보여줍니다.

음모 (밀도 (x))

여기에 이미지 설명을 입력하십시오

— 제로미 앵림
소스

아주 좋은 답변을 제공했습니다. 나는 단지 대부분의 경우 9 가지 추정치의 차이가 아주 작은 것으로 생각된다고 덧붙였다.

— Peter Flom-Monica Monica 복원

Quantile 에 관한 Wikipedia 기사 는 백분위 수 에 관한 기사 보다 낫습니다

— Henry

R이 75500에서 75600 사이의 숫자를 제공해야하므로 여기에 문제가 있습니다. 1345 값 중 일부가 손실 되었습니까?

— Henry

@Henry 감사합니다. 질문에 입력 할 수있는 줄 수를 최소화하려는 시도에서 c (...) 명령을 두 줄에만 배치했습니다. 결과적으로 일부 데이터를 잘라내는 명령 줄 길이 제한 형식이 발생했다고 생각합니다. 보통이 데이터를 별도의 파일에 있기 때문에이 문제를 본 적이 없습니다. c (...) 명령이 120 줄로 확장되도록 스크립트와 출력을 업데이트했습니다. gist.github.com/1102127

— Jeromy Anglim

+1 추가 정보 감사합니다. 당신이 이것을 게시했을 때, 호기심에서 나는 QQ 플롯을 사용하여 분포를보고 있었고 같은 결론에 도달했습니다. 시간 내 주셔서 감사합니다.

— 전설