답변:
Kappa ( ) 통계량은 명목 또는 순서 척도에서 두 평가자 간의 관찰 된 동의를 우연히 예상되는 동의 (평가자가 던지는 것처럼)와 비교하는 품질 지수입니다. 여러 평가자에 대한 확장이 존재합니다 (2, pp. 284–291). 서수 데이터 의 경우 가중 사용할 수 있습니다. 가중 는 기본적으로 일치하는 측정에 기여하는 비 대각선 요소를 가진 보통 로 읽습니다 . Fleiss (3)는 값 을 해석하기위한 지침을 제공 했지만 이것들은 단지 엄지 손가락의 규칙 일뿐입니다.κ κ κ
통계는 양방향 랜덤 효과 ANOVA에서 추정 한 ICC에 점근 적으로 동일하지만 의미 테스트 및 SE는 보통 ANOVA 프레임 워크에서 오는 바이너리 데이터에 더 이상 유효하지 않습니다. 신뢰 구간 (CI)을 얻으려면 부트 스트랩을 사용하는 것이 좋습니다. Fleiss (8)는 가중 카파와 클래스 내 상관 관계 (ICC) 간의 관련성을 논의했습니다.
일부 심리학자들은 예측 값이 고려중인 질병의 유병률에 의해 영향을받는 것과 매우 유사하게 측정 대상의 유병률에 의해 영향을 받기 때문에 별로 좋아하지 않으며 , 이는 역설적 결과를 초래할 수 있습니다.
평가자에 대한 평가자 간 신뢰도는 Kendall의 일치 계수 로 추정 할 수 있습니다 . 경우 평가 항목 또는 단위의 수 , . (269-270 페이지). 이 점근 적 근사값은 중간 값 유효합니다.W N > 7 K ( N - 1 ) W ~ χ (2) ( N - 1 ) N
Polychoric (연산 데이터) 상관 관계는 또한 평가자 간 일치의 척도로 사용될 수 있습니다. 실제로 그들은
실제로, 이것은 잠복 형질 모델링의 특별한 경우이며, 분포 가정을 완화시킬 수 있음을 보여줍니다 (4).
정보 연속 (또는 그렇게 간주) 측정치 사이 피사체의 변화에 기인하는 편차의 비율을 정량화 ICC 괜찮다. 다시 부트 스트랩 CI를 사용하는 것이 좋습니다. @ars가 말한 것처럼 기본적으로 계약 연구의 경우에 적용 할 수있는 계약과 일관성의 두 가지 버전이 있으며 (5) 주로 제곱합 계산 방식이 다릅니다. "일관성"ICC는 일반적으로 Item × Rater 상호 작용을 고려하지 않고 추정됩니다. ANOVA 프레임 워크는 등급 수 ( BIBD ) 를 최소화하려는 특정 블록 설계에 유용합니다 . 실제로 이것은 Fleiss의 작업의 원래 동기 중 하나였습니다. 또한 여러 평가자 에게가는 가장 좋은 방법입니다. 이 접근법의 자연스런 확장을 일반화 이론 이라고합니다 . 간략한 개요는 Rater Models : Introduction 에 나와 있습니다. 그렇지 않으면 표준 참조는 Brennan의 책이며 Psychometrika 2006 71 (3) 에서 검토됩니다 .
일반적인 참고 자료로 는 Graham Dunn (Hodder Arnold, 2000)의 Psychiatry Statistics 3 장을 추천 한다. 신뢰성 연구의보다 완전한 치료를 위해, 날짜에 대한 가장 좋은 참조는
Dunn, G (2004). 신뢰성 연구의 설계 및 분석 . 아놀드. International Journal of Epidemiology 의 검토를 참조하십시오 .
John Uebersax의 웹 사이트, Intraclass Correlation and Related Methods 에 온라인 소개 자료가 있습니다 . 여기에는 특히 서수 척도와 관련하여 ICC 접근법의 장단점에 대한 논의가 포함됩니다.
양방향 평가 (일반 또는 연속 측정)를위한 관련 R 패키지는 Psychometrics Task View에 있습니다. 나는 일반적으로 psy , psych 또는 irr 패키지를 사용합니다. 거기이기도 콩코드 패키지는하지만 난 그것을 사용하지 않았다. lme4 패키지는 둘 이상의 평가자를 처리 하기 위해 임의의 효과를 쉽게 통합 할 수있는 방법이지만 aov()
분산 성분 만 추정 하면 되기 때문에 대부분의 안정성 설계를 사용하여 분석 할 수 있습니다 .
참고 문헌
개체 간 상관 관계는 서수 데이터를 사용할 수있다. 그러나 주로 평가자를 구분할 수 없다는 몇 가지주의 사항이 있습니다. 이에 대한 자세한 내용과 다양한 버전의 ICC 중에서 선택하는 방법은 다음을 참조하십시오.