실험 설계의 함정 : 죽은 실험 피하기

나는이 인용문을 여러 번 보았습니다.

실험이 완료된 후 통계 학자와상의하는 것은 종종 사후 검증을 요청하는 것입니다. 그는 아마도 실험이 죽었다고 말할 수 있습니다. - 로널드 피셔 (1938)

나에게는 아마 조금 어쩌면 보인다. 내가 디자인을 잘하지 않고 실험을하는 방법을 설명 할 수있는 유일한 예는 통제력이 부족하거나 통제력이 부족한 것입니다. 예를 들어, 비료의 적용을 통제하지만 실험에 필요한 환경을 통제하지 못하는 실험. 어쩌면 나일지도 모르지만 Fisher의 디자인 원칙에 대한 Wikipedia 섹션을 빠르게 읽은 것 같습니다. 대부분의 기반을 다룰 것입니다.

통계 학자로서 데이터 관련 실험 관련 문제의 설계를 얼마나 자주 볼 수 있습니까? 그것들은 항상 Fisher가 언급 한 몇 가지 요소와 관련이 있습니까, 아니면 비 통계적으로 훈련 된 과학자들이 찾아야 할 다른 심각한 함정이 있습니까?

피셔가 그의 유명한 인용에서 의미 한 바는 "우리는 연구를 위해 완전한 팩토리얼 디자인을 할 것"또는 다른 디자인 접근법을 말하는 것 이상으로 생각합니다. 실험을 계획 할 때 통계 학자와 상담한다는 것은 연구 목표, 관련 변수, 수집 방법, 데이터 관리, 함정, 실험 진행 상황에 대한 중간 평가 등 문제의 모든 측면을 지능적으로 생각하는 것을 의미합니다. 더. 종종 제안 된 실험 실습의 모든 측면을보고 어려움이 어디에 있는지 실제로 이해하는 것이 중요합니다.

내 경험은 주로 의료 응용 프로그램입니다. 통계 전문가에게 미리 문의하여 막을 수 있었던 몇 가지 문제는 다음과 같습니다.

• 불충분 한 샘플 크기는 물론이 목록에서 1 위입니다. 종종 이전 연구의 데이터를 이용할 수 있었으며 필요한 표본 크기를 합리적으로 추정하기가 쉬웠을 것입니다. 이 경우 유일한 해결책은 종종 데이터를 순수하게 설명하는 분석을 수행하고 논문에 대한 추가 연구를 약속하는 것입니다.
• 실험의 실행은 디자인 대신 편의와 기회에 맡겨져 있습니다. 현재 작업중 인 예제에는 시간이 지남에 따라 측정 된 값이 있습니다. 측정 시간, 측정 빈도 및 모니터링 기간은 모두 개인마다 크게 다릅니다. 개인당 측정 횟수를 늘리고 측정 날짜 및 모니터링 기간을 수정하는 것은 추가 작업이 거의 없었으며 (이 경우)이 연구에 매우 유익했을 것입니다.
• 쉽게 제어 할 수있는 성가신 요인에 대한 제어 불량. 예를 들어, 때때로 샘플 수집 당일 및 때로는 측정을 수행하여 샘플이 분해 될 가능성을 남겼습니다.
• 개인적으로 가장 좋아하는 데이터 "기계의 측정이 정확하지 않기 때문에 데이터를 컴퓨터에 넣기 전에 데이터를 반올림했습니다"를 포함한 데이터 관리가 잘못되었습니다. 종종 관련 데이터는 수집되지 않으며 사실 후에는 불가능합니다.

종종 연구 문제는 연구의 초기 개념으로 되돌아갑니다.

• 명확한 목표없이 데이터가 수집되는 경우도 있고 데이터가 어떻게 든 유용 할 것이라는 가정 만있을뿐입니다. 가설과 "중요한 결과"를 생성하는 것은 통계 학자에게 맡겨져 있습니다.
• 반대의 경우 : 데이터와 데이터로 실제로 증명할 수있는 내용에 관계없이 PI가 자신의 머리에 가지고있는 특정 지점을 증명하기 위해 데이터가 스크랩됩니다. 이번에는 통계학자가 데이터에 맞게 결론을 조정하지 않고 미리 작성된 결론에 중요성을 표시해야합니다.

지금까지는 PI가 데이터에 의해 뒷받침되지 않는 결론을 내리려고 할 때 통계학자가 겪고 과학적 무결성이 어려워지는 것처럼 들립니다 (항상 재미있는 토론). 그러나 실험 팀은 실험 단계에서 불필요한 추가 작업 (필요한 작업을 수행하지 않는 동안)을 수행하고 사실 이후 통계 전문가와 논의에 더 많은 시간을 할애해야하기 때문에 어려움을 겪습니다. 물론, 최종 논문은 더 나빠질 것이며, 결론이 적고 ( "추정"이 더 많을 것입니다.) PI가 원했던 영향력이 큰 저널에 포함되지 않을 것입니다.

두 단어 : 표본 크기 ... 전력 분석은 필수입니다. 시작부터 팀에 유능한 통계학자를 포함 시키면 원고 나 보고서의 결과 및 토론 섹션을 작성할 때 많은 좌절을 피할 수 있습니다.

30 명 미만의 표본에서 "예측 모델"또는 "인과 관계"를 기대하는 통계 전문가와 상담하기 전에 데이터를 수집하는 것이 너무 일반적입니다. PI가 데이터를 수집하기 전에 통계 전문가와상의했다면 통계학자는 적절한 분석 후 PI에 알리고 더 많은 데이터 / 대상을 수집하거나 분석 계획 / 프로젝트의 목표를 재구성 할 수있었습니다.

"디자인"이라는 단어를 얼마나 엄격하게 해석 하느냐에 달려 있다고 생각합니다. 때로는 완전히 무작위 화 된 블록과 무작위 화 된 블록 등을 의미하기도합니다. 나는 그로부터 죽은 연구를 본 적이 없다고 생각합니다. 또한 다른 사람들이 언급했듯이 "죽은"것이 너무 강하다고 생각하지만 용어를 해석하는 방법에 달려 있습니다. 확실히 '중요하지 않은'연구 (그리고 연구자들이 결과적으로 출판을 시도하지 않은 연구)를 보았습니다. 이 연구들이 다르게 수행된다면 (내가 주었을만한 명백한 조언에 따라) '중요한'것일 수 있다는 가정하에 출판 된 논문은 "죽은"것으로 인정 될 수있다. 이러한 개념에 비추어 @RobHall과 @MattReichenbach가 제기 한 전력 문제는 매우 간단합니다. 그러나 표본 크기보다 더 많은 힘이 있으며 "디자인"이라는 개념이 느슨해 질 수 있습니다. 다음은 몇 가지 예입니다.

• 정보를 수집 / 녹화하거나 버리지 않음
  내가 연구자가 특정 형질이 암과 관련이 있는지 여부에 관심이 연구에서 일을. 그들은 한 줄이 다른 줄보다 더 많은 특성을 가질 것으로 예상되는 두 줄에서 쥐를 얻었다 (즉, 유전자 줄, 특정 성질을 위해 쥐를 낳았다). 그러나 문제의 특성은 실제로 측정되지 않았지만 실제로 측정되지 않았습니다. 이 상황은 연속 변수를 이분법 화하거나 비닝하는 것과 유사하여 전력을 줄입니다. 그러나 결과가 '유의 한'경우에도 각 마우스의 특성의 크기를 알고있는 것보다 정보가 적습니다.

  이 같은 제목 내의 또 다른 사례는 명백한 공변량에 대해 생각하고 모으는 것이 아닙니다.

• 열악한 설문지 디자인
  최근에 두 가지 조건에서 환자 만족도 조사가 실시 된 연구를 진행했습니다. 그러나, 항목들 중 어느 것도 역 스코어되지 않았다. 대부분의 환자는 목록을 내려 가서 항목을 읽지 않고도 5를 모두 표시했습니다 ( 강하게 동의 함 ). 다른 문제가 있었지만 이것은 분명합니다. 이상하게도, 연구를 담당 한 동료는 우리가 자유롭고 편리하게 그러한 상담을받을 수 있지만, 그녀의 참석은 통계 학자에게 먼저 조사를 하지 말라고 그녀에게 분명히 권고했다고 말했다 .

설문 조사와 같은 심리 실험에서 이런 종류의 문제를 보았습니다.

하나의 경우에, 전체 실험은 학습 경험으로 초크되어야했다. 여러 수준에서 문제가 발생하여 결과가 뒤죽박죽 이었지만 결과는 가설을지지하는 것처럼 보였습니다. 결국, 나는 더 엄격한 실험을 계획하는데 도움을 줄 수 있었는데, 본질적으로 가설을 기각하기에 충분한 힘을 가졌다.

다른 경우에는 이미 설계 및 실행 된 설문 조사를 받았으며 여러 가지 관심 영역이 영향을받는 여러 문제가있었습니다. 예를 들어 한 핵심 분야에서는 고객이 도착했을 때 가득 차서 이벤트에서 몇 번이나 빠져 나 갔는지 물었습니다. 문제는 질문에 시간 범위가 없기 때문에 4 번 출근하려고 한 사람과 4 번 퇴장 한 사람과 40 번 참석 한 사람과 4 번만 퇴근 한 사람의 차이를 알 수 없다는 것입니다 .

나는 훈련을받은 자본 통계학자가 아니지만 그들이 저에게 미리 오면 이러한 문제를 해결하고 더 나은 결과를 얻도록 도울 수 있었을 것입니다. 첫 번째 경우에는 여전히 실망 스럽지만 "죄송합니다. 귀하의 가설은 그럴 것 같지 않습니다". 그러나 두 번째 실험을 구할 수있었습니다. 두 번째 경우에는 중요한 질문에 대한 답변을 제공하고 결과를 더 선명하게 만들었을 것입니다. (또 다른 문제는 시간이 지남에 따라 여러 위치를 조사한 결과 적어도 일부 사람들이 여러 번 설문 조사를 한 것입니다. "다른 곳에서이 설문 조사를 실시하셨습니까?"

아마도 통계적 문제 자체는 아니지만,이 두 경우 모두 똑똑하고 잘 교육받은 도메인 전문가가 결함이있는 도구를 만들었으며 그 결과는 죽은 실험 하나와 사지 절단을 사용한 실험이었습니다.