다양한 등급의 R을 사용한 RAT 간의 컴퓨팅 안정성?

Wikipedia는 평가자 간 신뢰도 를 보는 한 가지 방법 은 무작위 효과 모델을 사용하여 클래스 내 상관 관계 를 계산하는 것이라고 제안합니다 . 클래스 내 상관 관계의 예는

\frac{σ_{α}^{2}}{σ_{α}^{2} + σ_{ϵ}^{2}}

$\frac{\sigma_\alpha^2}{\sigma_\alpha^2+\sigma_\epsilon^2}$

모델에서

{와이}_{나는 제이} = μ + α_{나는} + ϵ_{나는 제이}

$Y_{ij} = \mu + \alpha_i + \epsilon_{ij}$

"여기서 Y _ij 는 i ^번째 그룹 의 j ^번째 관측 값 이고 μ는 관측되지 않은 전체 평균이며 α _i 는 그룹 i의 모든 값이 공유하는 관측되지 않은 임의의 효과이며 ε _ij 는 관측되지 않은 노이즈 항입니다."

이것은 내 데이터에서 평가자가 모든 것을 평가하지 않았으며 (대부분 20+ 등급을 받았지만) 사물은 가변 횟수 (보통 3-4)로 평가 되었기 때문에 특히 매력적인 모델입니다.

질문 # 0 :이 예에서 "그룹 i"( "그룹 i")는 등급이 지정된 항목의 그룹입니까?

질문 # 1 : 평가자 간 신뢰도를 찾고 있다면, 평가자에 대한 평가와 평가에 대한 평가를위한 두 개의 항을 갖는 랜덤 효과 모델이 필요하지 않습니까? 결국 둘 다 가능한 변형이 있습니다.

질문 # 2 :이 모델을 R로 표현하는 것이 가장 좋을까요?

이 질문 에 멋진 제안이있는 것처럼 보입니다 .

lmer(measurement ~ 1 + (1 | subject) + (1 | site), mydata)

나는 보았다 몇 가지 질문 및 LME에 대해 "임의"매개 변수의 구문은 나에게 불투명하다. 나는 읽기 LME에 대한 도움말 페이지를 하지만, "랜덤"에 대한 설명은 예제없이 나에게 이해할 수있다.

이 질문은 다소 유사하다 긴 목록 의 질문 에, 이 가장 가까운. 그러나 대부분 R을 자세히 다루지 않습니다.

r reliability random-effects-model agreement-statistics

— 드 프랑 코프
소스

혼합 효과 모델과 임의 효과 효과는 R에서 동일한 방식으로 코딩됩니다. 자세한 내용은 ncbi.nlm.nih.gov/pmc/articles/PMC3402032 를 참조하십시오!

— noé

질문에서 참조한 모델을 "일방 통행 모델"이라고합니다. 임의의 행 효과가 유일한 체계적 분산 원이라고 가정합니다. 인터-래터 신뢰성의 경우, 행은 측정 대상 (예를 들어, 대상)에 대응한다.

일방 통행 모델 :
${엑스}_{나는 제이} = μ + {아르 자형}_{나는} + 승_{나는 제이}$ $x_{ij} = \mu + r_i + w_{ij}$ 어디 $\mu$ 모든 물체의 평균입니다. $r_i$ 행 효과이며 $w_{ij}$ 잔차 효과입니다.

그러나 "양방향 모델"도 있습니다. 여기에서는 임의의 행 효과와 임의 또는 고정 열 효과와 관련된 분산이 있다고 가정합니다. 평가자 간 신뢰도의 경우, 열은 측정 소스 (예 : 평가자)에 해당합니다.

양방향 모델 :
${엑스}_{나는 제이} = μ + {아르 자형}_{나는} + 씨_{제이} + 아르 자형 씨_{나는 제이} + {이자형}_{나는 제이}$ $x_{ij} = \mu + r_i + c_j + rc_{ij} + e_{ij}$ ${엑스}_{나는 제이} = μ + {아르 자형}_{나는} + 씨_{제이} + {이자형}_{나는 제이}$ $x_{ij} = \mu + r_i + c_j + e_{ij}$ 어디 $\mu$ 모든 물체의 평균입니다. $r_i$ 행 효과입니다. $c_j$ 열 효과입니다. $rc_{ij}$ 상호 작용 효과이며 $e_{ij}$ 잔차 효과입니다. 이 두 모델의 차이점은 상호 작용 효과의 포함 또는 제외입니다.

양방향 모델이 제공되면 단일 점수 일관성 ICC (C, 1), 평균 점수 일관성 ICC (C, k), 단일 점수 계약 ICC (A, 1) 또는 4 개의 ICC 계수 중 하나를 계산할 수 있습니다. 평균 점수 계약 ICC (A, k). 단일 점수 ICC는 단일 측정에 적용 $x_{ij}$ (예 : 개별 평가자) 평균 점수 ICC는 평균 측정에 적용됩니다. $\bar{x}_i$ (예 : 모든 평가자의 평균). 일관성 ICC는 분모 분산에서 열 분산을 제외하고 (예 : 평가자가 자신의 평균에 따라 변할 수 있도록) 계약 ICC는 분모 분산에서 열 분산을 포함합니다 (예 : 평가자가 동일한 평균에서 변동해야 함).

임의의 열 효과를 가정 할 경우의 정의는 다음과 같습니다.

양방향 랜덤 효과 ICC 정의 (상호 작용 효과 유무) :
$나는 씨 씨 (씨, 1) = \frac{σ_{아르 자형}^{2}}{σ_{아르 자형}^{2} + (σ_{아르 자형 씨}^{2} + σ_{이자형}^{2})} 또는 \frac{σ_{아르 자형}^{2}}{σ_{아르 자형}^{2} + σ_{이자형}^{2}}$ $ICC(C,1) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_{rc}^2 + \sigma_e^2)}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + \sigma_e^2}$ $나는 씨 씨 (씨, 케이) = \frac{σ_{아르 자형}^{2}}{σ_{아르 자형}^{2} + (σ_{아르 자형 씨}^{2} + σ_{이자형}^{2}) / 케이} 또는 \frac{σ_{아르 자형}^{2}}{σ_{아르 자형}^{2} + σ_{이자형}^{2} / 케이}$ $ICC(C,k) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_{rc}^2 + \sigma_e^2)/k}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + \sigma_e^2/k}$ $나는 씨 씨 (ㅏ, 1) = \frac{σ_{아르 자형}^{2}}{σ_{아르 자형}^{2} + (σ_{씨}^{2} + σ_{아르 자형 씨}^{2} + σ_{이자형}^{2})} 또는 \frac{σ_{아르 자형}^{2}}{σ_{아르 자형}^{2} + (σ_{씨}^{2} + σ_{이자형}^{2})}$ $ICC(A,1) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_{rc}^2 + \sigma_e^2)}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_e^2)}$ $나는 씨 씨 (ㅏ, 케이) = \frac{σ_{아르 자형}^{2}}{σ_{아르 자형}^{2} + (σ_{씨}^{2} + σ_{아르 자형 씨}^{2} + σ_{이자형}^{2}) / 케이} 또는 \frac{σ_{아르 자형}^{2}}{σ_{아르 자형}^{2} + (σ_{씨}^{2} + σ_{이자형}^{2}) / 케이}$ $ICC(A,k) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_{rc}^2 + \sigma_e^2)/k}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_e^2)/k}$

ANOVA의 평균 제곱을 사용하여 이러한 값을 추정 할 수도 있습니다.

양방향 ICC 추정 :
$나는 씨 씨 (씨, 1) = \frac{미디엄 {에스}_{아르 자형} - 미디엄 {에스}_{이자형}}{미디엄 {에스}_{아르 자형} + (케이 - 1) 미디엄 {에스}_{이자형}}$ $ICC(C,1) = \frac{MS_R - MS_E}{MS_R + (k-1)MS_E}$ $나는 씨 씨 (씨, 케이) = \frac{미디엄 {에스}_{아르 자형} - 미디엄 {에스}_{이자형}}{미디엄 {에스}_{아르 자형}}$ $ICC(C,k) = \frac{MS_R-MS_E}{MS_R}$ $나는 씨 씨 (ㅏ, 1) = \frac{미디엄 {에스}_{아르 자형} - 미디엄 {에스}_{이자형}}{미디엄 {에스}_{아르 자형} + (케이 - 1) 미디엄 {에스}_{이자형} + 케이 / 엔 (미디엄 {에스}_{씨} - 미디엄 {에스}_{이자형})}$ $ICC(A,1) = \frac{MS_R-MS_E}{MS_R + (k-1)MS_E + k/n(MS_C-MS_E)}$ $나는 씨 씨 (ㅏ, 케이) = \frac{미디엄 {에스}_{아르 자형} - 미디엄 {에스}_{이자형}}{미디엄 {에스}_{아르 자형} + (미디엄 {에스}_{씨} - 미디엄 {에스}_{이자형}) / 엔}$ $ICC(A,k) = \frac{MS_R-MS_E}{MS_R + (MS_C-MS_E)/n}$

irr 패키지를 사용하여 이러한 계수를 R로 계산할 수 있습니다 .

icc(ratings, model = c("oneway", "twoway"),
type = c("consistency", "agreement"),
unit = c("single", "average"), r0 = 0, conf.level = 0.95)

참고 문헌

맥그로, 코 & ,, SP (1996). 클래스 내 상관 계수에 대한 추론 형성. 심리학 적 방법, 1 (1), 30-46.

Shrout, PE, & Fleiss, JL (1979). 클래스 내 상관 관계 : 평가자 안정성 평가에 사용합니다. 심리 게시판, 86 (2), 420-428.

— 제프리 지라드
소스

큰 답변 주셔서 감사합니다! R의 icc 내 양방향 모델에서 행당 무작위로 선택된 평가자를 어떻게 표현합니까? 내 말은, 우리가 100 명의 평가자 풀을 가지고 있다고 가정하고, 각 과목은 그들 중 5-10 명에 의해 평가됩니다. 이러한 시나리오는 icc 패키지로 처리 할 수 있습니까?

— michal

각 평가자는 icc 함수에 공급하는 행렬에 자체 열이 있어야합니다. 그렇지 않으면, 랜덤 및 혼합 효과 모델에 대한 계산이 동일합니다. 주요 차이점은 해석에 있습니다 (결과를 일반화하는 방법).

— Jeffrey Girard

답변 해주셔서 감사합니다! 나는 셀에 NA가 있고 (특정 평가자가 행에 해당하는 주제를 평가 한 열 당 실제 숫자가있는 몇 가지 값 만) 그렇게하려고합니다. 그러나 출력에서 제목이 기록되지 않았다는 텍스트가 표시됩니다 (예 : Subjects = 0 Raters = 9). 아마도 적어도 하나의 NA가 발견 된 곳마다 전체 행이 걸러 졌음을 의미합니까? 하지만 평가자에게 누락 된 등급을 표시하려면 어떻게해야합니까?

— michal

이 특정 icc 기능의 제한 사항 일 수 있습니다. 이 상황을 처리 할 수있는 MATLAB 스크립트가 있습니다. MATLAB에 액세스 할 수 있습니까?

— Jeffrey Girard

: 그래, 내 웹 사이트를 체크 아웃 mreliability.jmgirard.com

— 제프리 지라