임상 시험이 초기 단계에서 종료 될 때 편견이 영향을받는 이유는 무엇입니까?

24

중간 분석은 아마도 초기 연구를 종료하기 전에 하나 개 이상의 시점에서 데이터의 분석의 의도와 연구의 공식 가까운 예입니다.

Piantadosi에 따르면, S. ( 임상 시험-방법 론적 관점 ) : " 치료 효과의 추정은 시험이 초기 단계에서 종료 될 때 편향 될 것입니다. 결정이 빠를수록 편향이 더 큽니다. "

이 주장을 설명해 주시겠습니까? 정확성이 영향을 받는다는 것을 쉽게 이해할 수 있지만 편견에 대한 주장은 분명하지 않습니다 ...

clinical-trials bias

— 옥람
소스

나는이 베이지안 및 빈도주의 방법론 사이 "구체화"의 차이점을 완벽하게 문제라고 생각

— probabilityislogic

13

우선, 문맥에주의해야합니다. 이는 임의의 외부 사유가 아닌 효능 / 무효 성을 보여주는 중간 모니터링으로 인해 시험이 조기에 중단 된 경우에만 적용됩니다. 이 경우 효과 크기 의 추정치 는 통계적으로 완전히 바이어스됩니다. 효능을 위해 중단하면 추정 효과가 너무 높고 (양의 가정), 허약으로 중단하면 효과가 너무 낮아집니다.

Piantodosi도 직관적 설명을 제공합니다 (제 10.5.4 절). 두 방법의 실제 차이가 1 단위라고 가정합니다. 많은 시험을 실행하고 임시 분석 시간에 시험을 볼 때, 일부는 1보다 훨씬 큰 효과 크기를 보았으며, 1보다 훨씬 작으며 대부분 1 정도입니다. 분포는 넓지 만 대칭입니다. 이 시점의 예상 효과 크기는 매우 정확하지 않지만 편향되지 않습니다. 그러나 차이가 유의 한 경우 (여러 테스트에 대해 조정 된 경우), 즉 추정치가 높은쪽에 만 효과 크기를 중지하고보고합니다. 다른 모든 경우에는 계속 진행하며 추정치는보고하지 않습니다. 즉, 조기 중지에 대한 조건부효과 크기의 분포는 대칭이 아니며 예상 값이 추정치의 실제 값보다 큽니다.

이 효과가 초기에 더 심각하다는 사실은 시험을 중단하기위한 더 큰 장애물에서 비롯되며, 따라서 컨디셔닝 중에 분배의 대부분이 버려집니다.

— 아니 코
소스

1

처음에 나는 이것을 생각했지만 그것을 증명하기 위해 앉았을 때 나는 할 수 없었다. 나는 결과적인 추정치가 실제로 편견 이 없다는 것을 보여줄 수밖에 없었다 . (새로운 직감 : 조건부 정지에서 발생하는 양의 편향 은 실험 수행에서 완료까지 의 음의 편향의 균형을 맞 춥니 다 .)보다 엄격한 시연을 제시 할 수 있습니까?

— whuber

@ whuber 나는 그것을 쓰려고 노력할 것이지만 요점은 Piantodosi의 진술은 당신 이 일찍 멈출 때 일어나는 일에 관한 것 입니다. 균형을 잡을 완성이 없습니다.

— Aniko

2

@whuber 예, 이것이 원래 진술의 주장입니다. 연구를 완료 할 때 조건에 반대되는 편향이있을 것이라는 요점도 유효합니다. 중간 모니터링을 시작하면 효과 크기를 추정하는 데 재미있는 일이 일어나기 시작한다는 전체 메시지가 있어야합니다.

— Aniko

3

@Aniko 조기 종료시 바이어스를 조정할 수 있어야합니다. 따라서 우리는 조건부 종료 실험에서 고정 크기의 랜덤 표본을 위해 의도 된 표준 추정기의 순진한 사용에 대해 논의하는 것 같습니다. 여기서 이러한 추정기는 원하는 특성이 없습니다. (+1, 그런데.)

— whuber

2

@ whuber 물론, 당신은이 편견을 조정할 수 있지만, 먼저 그것이 존재한다는 것을 인식해야합니다. 그런 다음 10 명의 환자 중 5 명은 분명히 응답했지만 조기 중지로 인한 치우침을 조정 한 후 예상 응답 속도는 40 % (수치)임을 조사관에게 판매해야합니다.

— Aniko

3

다음은 결론에서 편견이 발생할 수있는 방법과 왜 이것이 전체 기사가 아닐 수 있는지 보여줍니다. 긍정적 인 (+1) 효과가 예상되지만 부정적인 효과 (-1)가있을 수있는 약물의 순차적 시험이 있다고 가정합니다. 5 마리의 기니피그가 차례로 테스트됩니다. 단일 사례에서 긍정적 결과의 알려지지 않은 확률은 사실 와 부정적인 결과 $\frac{3}{4}$ . $\frac{1}{4}$

따라서 5 번의 시도 후에 다른 결과의 확률은

 Outcome     Probability
+5-0 = +5    243/1024
+4-1 = +3    405/1024
+3-2 = +1    270/1024
+2-3 = -1     90/1024
+1-4 = -3     15/1024
+0-5 = -5      1/1024

전체적으로 긍정적 인 결과가 나올 확률은 918/1024 = 0.896이고 평균 결과는 +2.5입니다. 5 회 시도로 나눈 결과는 시도당 평균 +0.5의 결과입니다.

그것은 이기 때문에 편견없는 인물입니다. . $+1\times\frac{3}{4}-1\times\frac{1}{4}$

기니피그를 보호하기 위해 어떤 단계에서 누적 결과가 음수이면 연구가 종료된다고 가정하십시오. 그런 다음 확률은

 Outcome     Probability
+5-0 = +5    243/1024
+4-1 = +3    324/1024
+3-2 = +1    135/1024
+2-3 = -1     18/1024
+1-2 = -1     48/1024
+0-1 = -1    256/1024

전체적으로 긍정적 인 결과의 확률은 702/1024 = 0.6855이고 평균 결과는 +1.953입니다. 이전 계산에서 예를 들어 시행 당 평균 결과 값을 보았을 때 (예 : , $\frac{+5}{5}$ , $\frac{+3}{5}$ , $\frac{+1}{5}$ , $\frac{-1}{5}$ 과 $\frac{-1}{3}$ 이면 +0.184가됩니다. $\frac{-1}{1}$

이것들은 두 번째 방식에서 일찍 멈추는 것에 의한 편견이 있고 그 편향이 예측 된 방향에 있다는 의미입니다. 그러나 그것은 전체 이야기가 아닙니다.

왜 whuber와 확률 론적 사고가 일찍 멈추는 것이 편견없는 결과를 가져와야합니까? 우리는 두 번째 계획에서 시험의 예상 결과가 +1.953이라는 것을 알고 있습니다. 예상되는 시행 횟수는 3.906으로 밝혀졌습니다. 따라서 하나를 다른 것으로 나누면 이전과 똑같이 편견이없는 것으로 + 0.5를 얻습니다.

— 헨리
소스

당신은 "사전 데이터"세계의 관점을 취하고 있습니다. 당신이 말하는 것은 사실, 중지 규칙이 중요 하지만 데이터를 고려하기 전에 만 중요하다는 것 입니다. 중지 규칙은 데이터에 대한 정보를 제공하지만 실제 확률에 대한 정보는 제공하지 않기 때문입니다. 따라서 일단 데이터가 들어 오면 중지 규칙은 더 이상 중요하지 않습니다. 실제 확률은 실제 실험에서 알 수 없습니다. 따라서 확률이 상황도 고려해야합니다.

P (+) = \frac{1}{4}

$P(+)=\frac{1}{4}$

P (-) = \frac{3}{4}

$P(-)=\frac{3}{4}$

P (H | S, I) \neq P (H | I)

$P(H|S,I)\neq P(H|I)$

D

$D$

1

글쎄, 이것에 대한 나의 지식은 2008 년 Harveian 연설에서 온 것입니다. http://bookshop.rcplondon.ac.uk/details.aspx?e=262 본질적으로, 최고의 추억으로 결과는 1) 일찍 멈추는 것처럼 편향됩니다. 일반적으로 치료가 기대 한 것보다 더 효과적이거나 덜 효과적임을 의미하며, 이것이 긍정적 인 경우 기회를 활용하고있을 수 있습니다. 나는 p 값이 계획된 샘플 크기를 기준으로 계산된다고 생각하지만 (이것에 대해서는 틀릴 수 있습니다) 또한 효과가 표시되는지 확인하기 위해 결과를 지속적으로 확인하는 경우 다중 비교를 수정해야합니다 당신이 단지 기회 효과를 찾는 것이 아니라는 것을 보장하기 위해. 예를 들어 .05 미만의 p 값을 20 번 확인한 다음 통계적으로 말하면 중요한 결과를 얻을 수 있습니다.

— richiemorrisroe
소스

PART 1 우선, 답변 주셔서 감사합니다. 실제로 잦은 방법은 여러 테스트에 적합합니다. 따라서, 편향된 치료 효과 추정의 문제는 거기에서 올 수 없다. 중간 분석에서 테스트는 전체 계획된 샘플 크기가 아니라 현재 샘플 크기를 사용하여 현재 정보를 기반으로합니다. 따라서 문제는 거기에서도 발생하지 않습니다.

— ocram

PART2 나는 일찍 멈추는 것이 치료가 "한 번의 호핑보다 더 효과적"이라는 것을 의미한다는 데 동의합니다. 그런 의미에서, 추정 처리 효과는 예상보다 클 것이다. 그러나 나에 따르면, 이것이 편향되지는 않는다 ... 대신에, 어떤 의미에서는 "우리의 희망은 편향되었다"고한다.

— ocram

1

Piantadosi가 "바이어스"에 의해 일반적으로 바이어스라고하는 정확도의 일부를 의미하지 않는 한, 그 주장에 동의하지 않습니다. 자체 중지를 선택했기 때문에 추론은 "편향"되지 않습니다. 데이터가 적기 때문에 "편향"됩니다. 소위 "우도 원칙"은 추론이 관찰 된 데이터가 아니라 관찰 된 데이터에만 의존해야한다고 명시하고있다. LP는 말합니다

피 (H | 디, 에스, 나는) = 피 (H | 디, 나는)

$P(H|D,S,I)=P(H|D,I)$

$H$ $D$ $S$ $I$ $D$ $I$ $S=g(D,I)$ $AA=A$ $S=g(D,I)$ $D$ $I$ $D,S,I = D,g(D,I),I = D,I$ $D$ $I$ 중요합니다.

— 확률 론적
소스

@probabilityislogic : 감사합니다! 내가 잘 이해한다면, "바이어스"는 통계적으로 이해되어서는 안됩니다. Piantadosi가 견적이 아닌 추정치의 "바이어스"에 대해 이야기하기 때문에 이것이 의미가 있다고 생각합니다.

— ocram

E (μ - \hat{μ})^{2} = v a r (\hat{μ}) + B i a s (\hat{μ})

$E(\mu-\hat{\mu})^{2}=var(\hat{\mu})+Bias(\hat{\mu})$

μ

$\mu$

\hat{μ}

$\hat{\mu}$ "추정자"입니다. 두 번째 항 (편향)이 표본 크기에 의존하는 경우 실험을 계속할 때에 비해 표본 크기가 줄어들었기 때문에 일찍 중지하면 편향이 증가 할 것으로 예상됩니다. 그러나 당신이 말하는 것에서, 그것은 "바이어스"가 피안타도의 관점에서 "오류"로 해석되어야하는 것처럼 들립니다.

— probabilityislogic

1

이 주장은 편견에 대해 아무 것도 말하지 않으며 문제의 가설 검정 측면 만 말하지만 아무도 질문하지 않습니다.

— Aniko

@Prob 나는 @Aniko에 동의해야한다 : null이 참일 때, 조기 종료의 양의 가능성이 있다는 것이 명백하다.이 경우 효과의 추정치는 0이 아니다. 따라서 조기 해지 조건 인 추정 효과에 대한 기대치 는 긍정적 인 반면 무조건 기대치는 0이다. (OP가 가설 테스트가 아닌 추정을 다루고 있음에 유의하십시오 .)

— whuber

H

$H$

μ

$\mu$

(a, a + d a)

$(a,a+da)$

S

$S$

D

$D$

I

$I$

S

$S$

S

$S$

S

$S$

D

$D$

I

$I$

μ

$\mu$

— probabilityislogic

0

연구 종료가 무작위가 아닌 경우 편향 이있을 것입니다 ( "통계적 의미").

일련의 실험에서 결론을 내리기 위해, (a) 궁극적으로 "효과가 없음"을 발견 한 일부 실험은 (우연의 결과로) 일부 효과를 보여 주며 (b) 궁극적으로 효과는 "효과 없음"을 나타냅니다 (전원이 부족한 결과). 시험을 마치는 세상에서 (a) (b)보다 더 자주 중단하면 효과를 찾는 편견을 가지고 여러 연구를 마칠 수 있습니다. (동일한 논리가 효과 크기 에 적용 됩니다 . "예상보다 낮거나 낮은"것으로 보이는 것보다 더 자주 "예상보다 큰"효과를 보이는 연구를 종료하면 "큰 효과"의 결과가 증가합니다.)

실제로 조기 결과가 긍정적 인 효과를 보이면 (위약 또는 다른 사람들에게 치료를 제공하기 위해) 의료 시험이 종료되지만 조기 결과가 결정적이지 않은 경우가 아니라면 그러한 검사에서 유형 1 오류가 더 많을 것입니다 모든 실험이 결론에 도달했다면. 그러나 이것이 연습이 잘못되었다는 의미는 아닙니다. 도덕적으로 말하면, 유형 1 오류의 비용은 실제 시험이 끝날 때 실제로 작동하는 것으로 보이는 치료에 비해 치료를 거부하는 것보다 치료를 거부하는 것보다 낮을 수 있습니다.

— dmk38
소스

동일한 질문을 할 것이기 때문에 Aniko의 답변에 대한 내 의견을 참조하십시오.보다 엄격한 데모를 제공 할 수 있습니까?

— whuber

나는 아니 코에게 연기한다. 그는 내가 할 수있는 것보다 더 나은 일을한다. 그러나 "데스크 서랍 효과"가 바이어스를 초래한다는 데 동의하면 여기의 논리는 동일합니다. 가설을 뒷받침하는 데이터를 선호하는 편견이있다. 전자의 경우 b / c 비지지 데이터는보고되지 않으며, 후자의 b / c에서는 지원되지 않는 데이터의 일부가 반드시 수집되지는 않는다. 초기에 결과가 양호 해 보이면 늦게 나쁜 결과를 낳는 시험으로 채워진 "나쁜 결과"분포의 일부가 제외됩니다 . 이 편향은 조정될 수 있지만 조정이 필요한 편향이 있습니다.

— dmk38

@dmk 나는 단지 둘 다 @Probability와의 논쟁을하도록 박차를가하려고한다.

— whuber

1

P (D | H, S, I)

$P(D|H,S,I)$

1

@probability 그것은 그것을 보는 한 가지 방법입니다. 또 다른 하나는 가설을 완전히 피하고 실제로 요청되는 문제를 해결하는 것입니다. 다시 말해, 치료 효과의 크기는 얼마입니까? 이 관점에서, 결정이 의사 결정을 지원하기에 충분한 정확도로 추정값이 알려지면 종료가 발생할 수 있습니다. 예를 들어, 치료 처방으로 인한 건강 증진이 치료 비용 (및 부작용)을 초과 할 가능성이 높다고 확신 할 수 있습니다.

— whuber