데이터에서 특이 치를 제거-제거 할 수있는 최대 특이 치 수?


9

내 데이터에 몇 가지 특이 치가 있으며 결과가 변경되는지 확인하기 위해 이들을 제외하고 싶었습니다. 당신은 자신을 제한해야하는 최대 특이 치의 수는 얼마입니까?

감사! 여기에 이미지 설명을 입력하십시오


그래프가 엉망입니다. y 축의 숫자 레이블이없고 범례 항목이 구분되지 않습니다. (이것은 게시되지 않은 데이터를 숨기는 방법 일 수 있지만 좋은 조언을 제공하는 데 도움이되지는 않습니다.) 암호 범례는 질문에 영향을 미치지 않지만 작업중인 스케일을 모르면 유용한 답변의 범위를 제한합니다. . 도시 된 바와 같은 데이터는 중간 정도의 왼쪽 또는 네거티브 스큐를 나타낸다; 이것은 의미가있을 수 있으며 명백한 특이 치는 그 결과입니다. 또는 데이터가 가치가없는 로그를 사용하여 과도하게 변형 된 것일 수 있습니다.
Nick Cox

답변:


9

최대 값 또는 최소값이 없습니다. 이상 치가 나쁜 데이터이거나 제거해야 할 실질적인 이유가있는 경우 이상 치를 제거해야합니다. 실질적인 이유가 없다면 특이 치에 대한 강력한 방법을 사용하는 것이 좋습니다. 특이점은 다른 점과 약간 떨어져 있기 때문에 제거하지 않습니다.


5
동의했다. Box, Hunter & Hunter주의 : "실험자 통계"에 따르면 화학 산업에서는 특이 치가 종종 새로운 특허를 얻었습니다. 상황에 따라 특이 치가 데이터에서 가장 중요한 정보가 될 수 있습니다! 그것들을 쉽게 제거해서는 안됩니다.
kjetil b halvorsen

3
천체 물리학에서도. "데이터에서 블랙홀과 중성자 별을 삭제합시다":-).
Peter Flom

1
Peter Flom : 응! 그리고 인간 가운데서, 우리 중에 특이 치가 없다면, 우리는 여전히 석기 시대에 살고있을 것입니다!
kjetil b halvorsen

5
이 예에서는 레이블이 지정된 7 개의 특이 치 모두 값이 낮고 값이 높지 않습니다. 측정에 문제가 있거나 매우 흥미로운 것을 의미 할 수 있습니다. 어느 쪽이든, 낮은 값으로 이어진 것을 고려하지 않고 여기서 이상 치를 제거하는 것은 바람직하지 않은 것처럼 보입니다.
EdM

1
나는 질문을 조금 다르게 해석합니다. 분석에서 특이 치를 제거하는 것을 제안하지는 않습니다.이 답변은 암시 적으로 가정합니다. 민감도 분석 을 수행하여 "결과가 변경되는지 확인하는 방법 " 만 묻습니다 . 이상치 제거 여부에 대한 여기에 제공된 조언은 훌륭하지만 분석 이상치에 민감한 것으로 판명되면 후속 결정에 분명히 영향을 미치지 만이 경우 OP의 이익을 제공하지 않는 것 같습니다.
whuber

1

나는 다른 답변과 의견에서 언급 된 것에 중점을 둘 것입니다 (@Peter Flom의 답변은 정확하고 EdM은 무엇보다도 측정에 대해 적절하다고 생각합니다).

데이터 분석은 신중하게 수행해야합니다. 연락처에서 특이 치의 의미를 잘 알고 있어야합니다. 예를 들어, 측정 절차가 "정확하게"수행되었다고 가정하면 (바이어스를 도입하지 않았고, 장비가 보정되었고, 장비를 읽는 사람이 올바르게 수행 한 등 등), 일부 이상 치가 흥미로운 것을 말할 수 있습니다. 언젠가는 매우 중요합니다.

다음은 구성 예입니다. 모든 측면에서 100 %가 아니라면 방종하십시오 (주석으로 지적하십시오). ;)

어떤 사람이 박테리아의 일부 배양 (인구)에 일정량의 물질을 적용하는 효과를 테스트한다고 가정 해보십시오. 이제 "일반적으로"효과는 개체군의 박테리아 수를 안정화시키는 것이지만 다른 문화에는 특이 치가 있습니다.

모든 특이 치가 모든 박테리아가 죽은 상황을 나타낸다고 상상해보십시오. 또는 모든 특이 치는 박테리아 개체군이 통제 할 수없는 문화를 나타냅니다.

내가 지적하고 싶은 것은 당신의 인식 된 이상치의 본질이 의미가 있고 각각의 결과가 다르다는 것입니다. 박테리아 수가 증가하거나 감소하는 것이 참을 수없는 상황에있을 수 있습니다.

물론 물질에 의해 일부 집단이 사라진 것을 발견했다면, 물질은 쉽게 알아볼 수있는 상황이기 때문에 문제에 대해 조사 할 것입니다. 그러나 모든 현상이 쉽게 감지되는 것은 아닙니다.

결론적으로, 이상치 개념은 다소 임의적이지만 그 의미는 여러 가지이며 다른 중요성을 갖습니다. 그것이 당신이 문제에 대해 생각하게하기를 바랍니다 ... :)

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.