왜 견고하고 저항력있는 통계가 고전 기술을 대체하지 않았습니까?

데이터를 사용하여 비즈니스 문제를 해결할 때 고전 통계를 과소 평가하는 최소한 하나의 주요 가정이 유효하지 않은 것이 일반적입니다. 대부분의 경우 아무도 그러한 가정을 확인하지 않아도되므로 실제로 알 수 없습니다.

예를 들어, 많은 일반 웹 메트릭이 "정규 분포"에 비해 "긴 꼬리"라는 사실은 당연히 문서화되어 당연한 것으로 간주됩니다. 또 다른 예를 들자면, 온라인 커뮤니티는 심지어 수천 명의 회원이있는 커뮤니티에서도 많은 커뮤니티에서 기여 / 참여의 가장 큰 부분이 소수의 '슈퍼 기여자'그룹에 기인 한 것으로 잘 알려져 있습니다. (예를 들어, 몇 달 전, SO API가 베타 버전으로 출시 된 직후 StackOverflow 회원은 API를 통해 수집 한 데이터에서 간단한 분석을 발표했습니다. 그의 결론 은 SO 회원 중 1 % 미만이 SO에 대한 활동 (아마도 질문하고 대답하기), 나머지 1-2 %가 나머지를 설명했으며 압도적 인 대다수의 회원은 아무것도하지 않습니다.

이런 종류의 분포는 예외보다는 규칙보다 더 자주, 종종 법칙 밀도 함수 로 가장 잘 모델링됩니다 . 이러한 분포 유형의 경우 중앙 한계 정리조차 적용하기에 문제가 있습니다.

따라서 분석가들이 관심을 가질만한이와 같은 인구가 풍부하고 고전적인 모델 이이 데이터에서 명백히 좋지 않은 성능을 보이며 견고하고 저항력있는 방법이 오랫동안 (적어도 20 년 동안) 있다고 생각한 이유는 무엇입니까? 더 자주 사용되지 않습니까? (이유도 궁금 내가 더 자주 사용하지 않는,하지만 정말에 대한 질문이 아니다 CrossValidated .)

예, 전 전적으로 강력한 통계에 전념하는 교과서 장이 있으며 R 패키지 ( 강력한베이스 는 내가 익숙하고 사용하는 것)가 있음을 알고 있습니다.

그러나 이러한 기술의 명백한 장점을 감안할 때, 이들은 분명히 작업을위한 더 나은 도구 일 것입니다. 왜 더 자주 사용하지 않습니까? 기존 아날로그와 비교했을 때 강력하고 저항력있는 통계가 훨씬 더 자주 (아마도 추정되는) 사용되는 것을 기 대해서는 안됩니까?

내가 들었던 유일하고 실질적인 (즉, 기술적 인) 설명은 강력한 기술 (저항성 방법과 마찬가지로)이 고전 기술의 힘 / 민감도 부족하다는 것입니다. 이것이 실제로 어떤 경우에 해당되는지 모르겠지만, 많은 경우에 그것이 사실이 아니라는 것을 알고 있습니다.

선점의 마지막 단어 : 예 나는이 질문에 명백히 정확한 답이 하나도 없다는 것을 알고 있습니다. 이 사이트에 대한 질문은 거의 없습니다. 또한이 질문은 진지한 질문입니다. 관점을 발전시키는 것은 구실이 아닙니다. 여기에는 관점이 없으며, 통찰력있는 답변을 기대하는 질문 일뿐입니다.

연구원들은 작은 p- 값을 원하고, 더 강력한 분포 가정을 만드는 방법을 사용하면 더 작은 p- 값을 얻을 수 있습니다. 다시 말해, 비강 건 방법으로 더 많은 논문을 출판 할 수 있습니다. 물론이 논문들 중 더 많은 논문이 오 탐지 일 수도 있지만 출판물은 출판물입니다. 냉소적 인 설명이지만 때로는 유효합니다.

따라서 '클래식 모델'(무엇이든, 교과서에서 가르치고 ML로 추정 한 간단한 모델과 같은 것을 의미한다고 가정)은 일부 실제 데이터 세트에서 실패합니다.

모델이 실패하면 모델을 수정하는 두 가지 기본 방법이 있습니다.

1. 더 적은 가정 (모델이 적음)
2. 더 많은 가정 만들기 (더 많은 모델)

강력한 통계, 유사 가능성 및 GEE 접근법은 추정 전략을 모델이 모든 데이터 포인트에 대해 보유하지 않거나 (견고한) 데이터의 모든 측면 (QL 및 GEE)을 특성화 할 필요가없는 방식으로 변경함으로써 첫 번째 접근법을 취합니다.

대안은 추정 방법을 이전과 동일하게 유지하면서 오염 데이터 포인트의 소스 또는 거짓으로 보이는 원래 모델의 측면을 명시 적으로 모델링하는 모델을 구축하는 것입니다.

일부는 직관적으로 전자를 선호하고 (특히 경제학에서 인기가 높음) 일부는 직관적으로 후자를 선호합니다 (베이지 아인들 사이에서 특히 인기가 있음). 더 복잡한 모델에 더 만족하는 경향이 있습니다. 특히 시뮬레이션 도구를 사용한다는 사실을 알게되면 어쨌든 추론).

예를 들어, 포아송 대신 음 이항을 사용하거나 정규보다는 t를 사용하는 팻 테일 분포 가정은 두 번째 전략에 속합니다. '견고한 통계'라고 표시된 대부분의 것은 첫 번째 전략에 속합니다.

현실적으로 복잡한 문제에 대한 첫 번째 전략에 대한 견적자를 도출하는 것은 매우 어려운 것 같습니다. 그것이 그렇게하지 않는 이유는 아니지만, 자주 그렇게하지 않는 이유에 대한 설명 일 수 있습니다.

가르치는 데 지체가 있다고 제안합니다. 대부분의 사람들은 대학이나 대학교에서 통계를 배웁니다. 통계가 첫 번째 학위가 아니고 수학 또는 컴퓨터 과학 학위를 수행 한 경우 기본 통계 모듈 만 다룰 것입니다.

1. 개연성
2. 가설 검증
3. 회귀

즉, 문제가 발생하면 알고있는 것을 사용하여 문제를 해결하려고 시도합니다.

• 데이터가 정상이 아닙니다. 로그를 가져옵니다.
• 데이터에 성가신 이상 치가 있습니다. 제거하십시오.

다른 것을 우연히 발견하지 않으면 더 나은 일을하기가 어렵습니다. 이름이 무엇인지 모르는 경우 Google을 사용하여 무언가를 찾는 것은 정말 어렵습니다!

새로운 기술이 걸러지기까지는 모든 기술이 시간이 걸릴 것이라고 생각합니다. 표준 가설 시험이 표준 통계 커리큘럼의 일부가 되려면 얼마나 걸립니까?

BTW, 통계 학위와 함께 가르치는 데 여전히 지연이있을 것입니다.

합리적인 수준의 통계 데이터 분석 교육을받은 사람 은 강력한 통계 개념 을 정기적으로 사용합니다. 대부분의 연구자들은 심각한 특이 치와 데이터 기록 오류를 찾을만큼 충분히 알고 있습니다. 의심스러운 데이터 포인트를 제거하는 정책은 Rayleigh 경, GG 스토크 스 및 기타 연령대의 사람들과 함께 19 세기로 거슬러 올라갑니다. 질문이 다음과 같은 경우 :

연구자들이 위치, 규모, 회귀 등 추정값을 계산하는 데 더 현대적인 방법을 사용하지 않는 이유는 무엇입니까?

그 대답은 위에 주어진 것입니다. 지난 25 년 동안 방법이 크게 개발되었습니다 (1985-2010). 새로운 방법을 배우는 데 걸리는 지연은 아무 문제가 없다는 '신화'에 의해 형성된 관성뿐만 아니라 맹목적으로 고전적인 방법을 사용합니다. John Tukey 는 사용하는 강력하고 저항력있는 방법이 중요하지 않다고 말합니다. 중요한 것은 일부를 사용하는 것입니다. 고전적 방법과 견고성 / 내성 방법을 일상적으로 사용하는 것이 가장 적절하며 문제가 충분히 다른 경우에만 걱정할 수 있습니다. 그러나 그들이 다를 때 , 당신은 열심히 생각해야합니다 .

대신 질문은 다음과 같습니다.

왜 불안정한 추정치를 맹목적으로 적용하는 대신 연구원들이 데이터에 대해 질문을 멈추지 않는가?

대답은 실제로 훈련에 달려 있습니다. p- 값에 대한 일반적인 의존도를 '통계적 유의성'의 총체적 및 최종적이라고 요약하면 통계에 대해 제대로 교육받지 못한 연구원이 너무 많습니다.

@Kwak : 1970 년대 후버의 추정 이다 단어의 고전적인 의미에서, 강력한 : 그들은 특이 저항. 그리고 다시 내림차순 추정기는 실제로 1980 년대 이전에 거슬러 올라갑니다. 프린스턴 견고성 연구 (1971 년)는 2 차 위치 추정치, 즉 내림차순 추정치를 포함했습니다.

통계는 통계가 아닌 연구자들을위한 도구이며, 신경 쓰지 않아도됩니다.

나는 한때 내 전 부인이 공동 저작 한 의학 기사를 돕기 위해 노력했다. 나는 데이터, 제안 된 것, 연구에서 특정 관찰이 제외 된 이유를 설명하는 여러 페이지를 썼다. (그리고 기사를 읽는 모든 사람에 대해) 관심을 가졌습니다.

나는 두 가지 방향으로 답한다 :

1. 강력한 것에는 반드시 강력한 것으로 표시되지는 않습니다. 모든 것에 대한 견고성이 존재한다고 생각하면 순진합니다.
2. 견고성 문제를 떠나는 통계적 접근 방식은 때때로 현실 세계에 적합하지 않지만 키친처럼 보이는 알고리즘보다 개념적으로 더 가치가 있습니다.

개발

먼저, 통계에는 많은 좋은 접근 방법이 있다고 생각합니다 (실제로 언급 된 견고한 패키지가 아닌 R 패키지에서 찾을 수 있습니다). 실제 데이터에서 자연스럽고 강력하며 테스트 된 알고리즘은 "튼튼합니다" "어딘가에 언급되었다고해서 강력하지 않다는 의미는 아닙니다. 어쨌든 강력하다는 것이 보편적이라는 의미라면, 도구를 사용하거나 적응 된 모델을 만들기 위해 분석 한 데이터에 대해 어느 정도의 지식 / 전문 지식이 있어야하는 강력한 절차 (무료 점심 없음)를 찾지 못할 것입니다.

반면 통계의 일부 접근법은 한 가지 유형의 모형에만 사용되므로 강력하지 않습니다. 실험실에서 일을 이해하려고 노력하는 것이 언젠가는 좋은 일이라고 생각합니다. 우리의 해결책이 어떤 문제인지 이해하기 위해 문제를 따로 따로 다루는 것도 좋습니다. 이것이 바로 수학자입니다. 가우시안 모델 이글 런트의 예는 가우시안 가정이 결코 충족되지 않지만 오늘날 통계에 실제로 사용 된 아이디어의 75 %를 가져 왔기 때문에 많은 비판을받습니다. 이 모든 것이 출판 또는 멸망 규칙을 따르기 위해 종이를 쓰는 것에 관한 것이라고 생각합니까?

내 연구에 대한 약간의 통계를 배운 사람으로서 그 이유는 교육적이며 관 성적이라고 생각합니다.

나는 내 분야에서 주제를 가르치는 순서가 그 분야의 역사를 반영한다는 것을 관찰했다. 먼저 나온 아이디어가 먼저 가르쳐집니다. 커서 지시를 위해 통계 만 찍는 사람들에게는 클래식 통계를 먼저 배우고 아마도 마지막에 배우게 될 것입니다. 그런 다음, 더 많은 것을 배우더라도, 기본 효과로 인해 더 잘 붙는 고전적인 물건이 더 좋습니다.

또한, 모든 사람은 두 표본 t- 검정이 무엇인지 알고 있습니다. Mann-Whitney 또는 Wilcoxon Rank Sum 테스트가 무엇인지 아는 사람은 누구나 없습니다. 이것은 고전적인 테스트로 어떤 것도 행사하지 않아도되는 것과 비교하여 내 강력한 테스트가 무엇인지 설명하는 데 약간의 에너지를 소비해야한다는 것을 의미합니다. 이러한 조건은 분명히 강력한 방법을 사용해야하는 사람이 적은 것입니다.

Wooldridge "초기 계량-현대적 접근"2E p.261.

이분산성-강도 표준 오차가 일반적인 OLS 표준 오차보다 더 자주 유효하다면 왜 우리는 일반적인 표준 오차를 전혀 신경 쓰지 않습니까? 에로스가 정규 분포를 따르는 경우 일반적인 t- 통계량은 표본 크기에 관계없이 정확한 t 분포를 갖습니다. 강력한 표준 오류 및 강력한 t 통계는 표본 크기가 커질 때만 정당화됩니다. 표본 크기가 작을수록 강력한 t 통계량은 t 분포에 매우 근접하지 않은 분포를 가질 수 있으며, 이는 우리의 추론을 방해 할 수 있습니다. 표본 크기가 크면 단면 응용 분야에서이 분산 강건성 표준 오류 만 항상보고 할 수 있습니다.

상호 배타적이지는 않지만 베이지안 통계의 인기가 높아지고 있다고 생각합니다. 베이지안 통계는 사전 및 모델 평균화를 통해 동일한 목표를 많이 달성 할 수 있으며 실제로는 좀 더 강력 해집니다.

나는 통계학자가 아니며 통계 경험이 상당히 제한되어 있으며 컴퓨터 비전 / 3d 재구성 / 포즈 추정에서 강력한 통계를 사용합니다. 다음은 사용자 관점에서 문제를 해결 한 것입니다.

첫째, 강력한 통계는 "견고한 통계"라고 부르지 않고 공학과 과학에서 많이 사용되었습니다. 많은 사람들이 특정 방법을 실제 문제에 맞게 조정하는 과정에서 직관적으로 사용합니다. 예를 들어 반복 가중 최소 자승법과 잘린 평균 / 최소 자승법은 일반적으로 사용되며 사용자가 강력한 통계를 사용했는지 알지 못하므로 실제 비 합성 데이터에 대해 분석법을 실행할 수 있습니다.

둘째, "직관적 인"통계와 의식적인 강력한 통계는 실제로 결과가 검증 가능한 경우 또는 명확하게 보이는 오류 메트릭이있는 경우에 항상 사용됩니다. 정규 분포로 얻은 결과가 분명히 유효하지 않거나 잘못 된 경우 사람들은 가중치를 사용하여 땜질하기, 트리밍, 샘플링, 종이를 읽거나 용어를 알지 여부에 관계없이 강력한 견적 도구를 사용합니다. 반면에 연구의 최종 결과가 일부 그래픽과 다이어그램에 불과하고 결과를 확인하는 데 무감각하지 않거나 정상적인 통계 산출이 충분히 좋은 결과를 얻는다면 사람들은 귀찮게하지 않습니다.

마지막으로, 강력한 통계가 이론으로서 유용하다는 점은 이론 자체가 매우 흥미롭지 만 종종 실용적인 이점을 제공하지는 않습니다. 강력한 견적 도구는 대부분 사소하고 직관적이며 통계 지식 없이도 사람들을 재발 명하는 경우가 많습니다. 고 장점 추정, 무증상, 데이터 깊이, 이질성 등의 이론은 데이터에 대한 심층적 인 이해를 허용하지만 대부분의 경우 불필요합니다. 한 가지 큰 예외는 강력한 통계와 압축 감지의 교차로 "크로스 앤 부케"와 같은 몇 가지 새로운 실용적인 방법을 생성합니다.

강력한 추정량에 대한 나의 지식은 회귀 모수에 대한 강력한 표준 오차와 관련이 있으므로 내 의견은 그에 대해서만 언급됩니다. 사람들이이 기사를 읽도록 권유합니다.

소위 말하는 "허버 샌드위치 추정기"와 "강력한 표준 오류": Freedman, A. David The American Statistician, Vol. 60, No. 4. (2006 년 11 월), 299-302 쪽. doi : 10.1198 / 000313006X152207 ( PDF 버전 )

특히 이러한 접근 방식에 대해 걱정하는 것은 잘못되었다는 것이 아니라 더 큰 문제에서 산만하게한다는 것입니다. 따라서 저는 Robin Girard의 답변과 "무료 점심 식사 없음"에 대한 그의 언급에 전적으로 동의합니다.

강력한 통계에 필요한 미적분과 확률은 (보통) 더 어렵 기 때문에 (a) 이론이 적고 (b) 파악하기가 어렵습니다.

Gauss-Markov 정리 가이 긴 답변 목록, afaics에 언급되어 있지 않은 것을보고 놀랐습니다 .

구면 오차가있는 선형 모형 (이 과정에서 유한 오차 분산을 통한 특이 치가 없다는 가정이 포함됨)에서 OLS는 선형 비 편향 추정기의 클래스에서 효율적입니다. OLS보다 더 잘할 수 없습니다 "

나는 이것이 거의 항상 OLS를 사용하는 것을 정당화해야한다고 주장하지는 않지만, 이유에 특히 기여합니다 (특히 가르치는 데 OLS에 너무 집중하는 것이 좋은 변명이기 때문에).

내 생각 엔 강력한 통계는 결코 충분 하지 않다는 것입니다. 즉, 이러한 통계는 강력하기 때문에 분포에 대한 일부 정보를 건너 뜁니다. 그리고 그것이 항상 좋은 것은 아니라고 생각합니다. 다시 말해, 견고성과 정보 손실 사이에는 상충 관계가 있습니다.

예를 들어 중간 값은 평균과 달리 요소의 절반 정도만 (이산적인 경우) 정보를 사용하기 때문에 강력합니다 .