특이 치를 제거하기에 좋은 형태?

소프트웨어 빌드 통계를 작성 중입니다. 통과 / 실패 및 경과 시간에 대한 각 빌드에 대한 데이터가 있으며 주당 ~ 200 개를 생성합니다.

성공률은 집계하기 쉽습니다. 45 %가 특정 주에 통과했다고 말할 수 있습니다. 그러나 경과 시간도 집계하고 싶습니다. 데이터를 너무 잘못 표시하지 않도록하고 싶습니다. 나는 프로에게 더 잘 물어 볼 것이라고 생각했다 :-)

지속 시간이 10이라고 가정하십시오. 합격 및 불합격 사례를 모두 나타냅니다. 일부 빌드는 즉시 실패하므로 기간이 비정상적으로 짧아집니다. 일부는 테스트 도중 중단되고 결국 시간이 초과되어 매우 오랜 시간이 걸립니다. 우리는 다양한 제품을 제작하므로 성공적인 구축에도 90 초에서 4 시간이 걸립니다.

다음과 같은 세트를 얻을 수 있습니다.

[50, 7812, 3014, 13400, 21011, 155, 60, 8993, 8378, 9100]

내 첫 번째 방법은 집합을 정렬하고 중간 값을 선택하여 중간 시간을 얻는 것입니다.이 경우 7812 (짝수 집합의 산술 평균을 신경 쓰지 않았습니다.)

불행히도 주어진 값 하나만 선택하기 때문에 많은 변형이 발생하는 것 같습니다. 따라서이 값을 추세로 계산하면 중간에있는 빌드에 따라 5000-10000 초 사이에서 튀어 오릅니다.

그래서 이것을 부드럽게하기 위해 다른 접근법을 시도했습니다. 이상 치를 제거하고 나머지 값에 대한 평균을 계산하십시오. 나는 그것을 tertiles로 나누고 중간에서만 작동하기로 결정했습니다.

[50, 60, 155, 3014, 7812, 8378, 8993, 9100, 13400, 21011] ->
[50, 60, 155], [3014, 7812, 8378, 8993], [9100, 13400, 21011] ->
[3014, 7812, 8378, 8993]

이것이 나에게 더 좋아 보이는 이유는 두 가지입니다.

• 우리는 더 빠른 빌드에 대한 조치를 원하지 않습니다. 벌써 괜찮습니다.
• 가장 긴 빌드는 시간 초과로 인해 발생할 수 있으며 항상 있습니다. 우리는 그것들을 감지하는 다른 메커니즘을 가지고 있습니다

그래서 이것이 내가 찾고있는 데이터 인 것 같지만 사실을 제거하여 매끄러움을 얻었 을까 걱정됩니다.

논쟁의 여지가 있습니까? 방법은 제정신입니까?

감사!

당신의 접근 방식은 당신의 목표를 고려하여 나에게 의미가 있습니다. 간단하고 간단하며 작업이 완료되며 과학 논문을 작성하고 싶지 않을 수도 있습니다.

특이 치를 처리 할 때 항상 해야하는 한 가지는 이를 이해 하는 것입니다. 이미 이에 대해 훌륭한 일을하고 있습니다. 접근 방식을 개선하는 가능한 방법은 다음과 같습니다. 어떤 빌드에 걸려있는 정보를 사용할 수 있습니까? 당신은 당신이 "그것을 탐지하는 다른 메커니즘"을 가지고 있다고 언급했습니다. 당신은 그것들을 탐지 한 다음 샘플에서 그것들 만 제거 할 수 있습니까?

그렇지 않으면, 더 많은 데이터를 가지고 있다면, 비옥 한 것이 아니라 5 분위를 제거하는 것에 대해 생각할 수 있습니다. 그러나 어느 시점에서 이것은 큰 차이를 만들지 않을 것입니다.

당신이하고있는 것을 다듬은 평균이라고 합니다.

이전과 마찬가지로 각면에서 동일한 비율 (트리밍 비율)을 트리밍하는 것이 일반적입니다.

0 % (보통 평균)에서 최대 (거의) 50 % (중앙값까지) 사이의 모든 항목을 트리밍 할 수 있습니다. 귀하의 예는 각 끝에서 30 %가 잘 렸습니다.

참조 이 대답 하고 관련 위키 백과 문서를 .

[편집 : 이 주제에 대한 Nick Cox의 훌륭한 토론 을 참조하십시오 .]

상당히 합리적이고 다소 견고한 위치 추정기입니다. 일반적으로 비대칭 분포보다 근대 분포에 더 적합한 것으로 간주되지만 목적에 맞으면 사용할 수 없습니다. 가장 잘 다듬는 정도는 가지고있는 분포의 종류와 원하는 속성에 따라 다릅니다.

* 당신이 여기에서 무엇을 추정하고 싶은지는 명확하지 않습니다.

분포의 '중심'을 요약하는 다른 많은 강력한 접근법이 있으며, 그 중 일부는 유용 할 수도 있습니다. (예 : M- 추정자는 아마도 당신을 위해 일부를 사용할 수 있습니다)

[ 정확한 평균을 사용하기 위해 해당하는 변동성 측정 값이 필요한 경우, Winsorized 표준 편차가 유용 할 수 있습니다 ( 실제로 sd를 계산할 때 잘라낼 때 잘라낸 값을 가장 극단적 인 값으로 대체하십시오) 자르지 않았습니다).]

또 다른 방법은 모든 페어 단위 평균의 중앙값을 계산하거나 부트 스트랩을 수행하는 것입니다.

최신 정보:

모든 쌍별 평균의 중앙값을 Hodges–Lehmann 추정기 라고합니다 . 이 추정기는 일반적으로 효율이 높습니다. Scott L. Hershberger 의이 백과 사전 항목 은 다음과 같이 말합니다.

중앙값과 Hodges-Lehmann 추정값이 모두 비대칭 분포의 표본 평균보다 바람직하지만 Hodges-Lehmann 추정값은 중앙값보다 평균에 비해 점근 비교 효율이 더 큽니다.

부트 스트랩은 관련성이 낮고 계산 집약적 일 수 있지만 대체로 작은 무작위 데이터 샘플을 가져 와서 해당 서브 샘플의 평균을 계산하고 여러 번 수행하고 모든 평균의 중앙값을 계산할 수 있습니다.

두 경우 모두 더 이상 데이터의 값 중에서 값을 선택할 필요가 없지만 (일반적인 중앙값을 계산할 때) 대신 데이터의 하위 집합에서 많은 평균 중에서 선택합니다.

당신이하고있는 일이 합리적으로 보입니다 : 단지 정보를 위해서 나는 비슷한 과정을 위해 다음과 같은 과정을 자주 사용합니다.

최소, Q1, 중앙값, Q3, 최대 다섯 숫자 요약을 계산합니다. 사 분위수 범위 계산 : Q3-Q1. Q1-IQR * X 및 Q3 + IQR * X에서 특이 치 '울타리'를 설정하십시오. 여기서 'X'의 합리적인 값은 1.5입니다.

위의 Excel과 그림을 사용하면 ( 'X'**에 1.5 사용) 하나의 상위 특이 치가 생성됩니다.

MIN 50
Q1  3014
MEDIAN  8095
Q3  9073.25
MAX 21011
IQR 6059.25
UPPER FENCE 18162.125
LOWER FENCE -6074.875

따라서 아래쪽 울타리는 실제로 귀하의 예에 유용하지 않거나 현실적이지 않습니다. 이는 특정 데이터의 의미를 이해하는 중요성에 대한 다른 게시물의 요점을 뒷받침합니다.

(** '1.5'규칙에 대한 인용문이 하나 있습니다. 저는 그것이 정식이라고 말하지는 않지만 저에게 합리적인 출발점 인 것 같습니다. http://statistics.about.com/od/Descriptive-Statistics/a/ What-Is-The-Interquartile-Range-Rule.htm )

IQR 자체에 해당하는 데이터 포인트 만 사용하기로 결정할 수도 있습니다. 이는 합리적인 결과를 산출하는 것으로 보입니다 (메서드의 멤버쉽이 매우 유사 함).

동일한 데이터를 사용하면 다음과 같은 데이터 포인트가 '관심 영역'에 배치됩니다.

7812
3014
13400
21011
8993
8378
9100

Boxplot에서 :이 점들은 모두 다이어그램의 상자 부분 (whiskers 부분이 아닌) 내에 있습니다.

이 목록에는 원래 목록에없는 일부 항목 (더 오래 실행 된 빌드)이 포함되어 있습니다. 하나의 목록이 어떤 식 으로든 더 정확한지 말할 수 없습니다. (다시 말해서 데이터 세트를 이해하는 데 도움이 됨).