코헨의 카파 분산 (및 표준 오차) 계산

카파 ( $\kappa$ ) 통계는 Cohen [1]에 의해 1960 년에 도입되어 두 평가자 간의 합의를 측정합니다. 그러나 그 차이는 꽤 오랫동안 모순의 원천이었습니다.

내 질문은 큰 샘플과 함께 사용할 최상의 분산 계산에 대한 것입니다. 나는 Fleiss [2]에 의해 테스트되고 검증 된 것이 올바른 선택이 될 것이라고 생각하는 경향이 있지만, 이것이 옳은 것으로 보이는 (그리고 최근의 문헌 전체에서 사용 된) 유일한 것으로 보이지는 않습니다.

지금은 점근 적으로 큰 표본 분산을 계산하는 두 가지 구체적인 방법이 있습니다.

Fleiss, Cohen 및 Everitt에 의해 출판 된 올바른 방법 [2];
이 책에서 Colgaton, 2009 [4] (106 페이지)에서 찾을 수있는 델타 방법.

이러한 혼란의 일부를 설명하기 위해 Fleiss, Cohen 및 Everitt [2]의 인용문은 다음과 같습니다.

많은 성공을 거두기 전에 여러 번의 인간의 노력이 반복되는 실패로 저주를 받았습니다. 에베레스트 산의 확장이 한 예입니다. 북서 항로 발견은 두 번째입니다. 카파에 대한 올바른 표준 오차를 도출하는 것은 세 번째 입니다.

그래서, 여기에 일어난 일에 대한 작은 요약이 있습니다 :

1960 : 코헨 그의 논문 "공칭 스케일 합의 계수를"발행 [1]라는 두 채점자 간의 계약 그의 기회 보정 계수 도입 $\kappa$ . 그러나 분산 계산에 잘못된 수식을 게시합니다.
1968 : Everitt가 그것들을 바로 잡으려고하지만 그의 공식도 틀 렸습니다.
1969 : Fleiss, Cohen 및 Everitt는 논문 "카파 및 가중 카파의 큰 표본 표준 오류"[2]에 올바른 공식을 발표했습니다.
1971 : Fleiss 가 동일한 이름으로 다른 $\kappa$ 통계량 (그러나 다른 통계량)을 공표 합니다.
1979 : Fleiss Nee와 Landis는 Fleiss ' $\kappa$ 대한 올바른 공식을 발표합니다 .

처음에는 다음 표기법을 고려하십시오. 이 표기법은 합산 연산자가 점이 배치 된 차원의 모든 요소에 적용되어야 함을 의미합니다.

$\ \ \ p_{i.} = \displaystyle\sum_{j=1}^{k} p_{ij}$ $\ \ \ p_{.j} = \displaystyle\sum_{i=1}^{k} p_{ij}$

이제 Kappa를 다음과 같이 계산할 수 있습니다.

$\ \ \ \hat\kappa = \displaystyle\frac{p_o-p_c}{1-p_e}$

어느

$\ \ \ p_o = \displaystyle\sum_{i=1}^{k} p_{ii}$

$\ \ \ p_c = \displaystyle\sum_{i=1}^{k} p_{i.} p_{.i}$

$\kappa$

$\ \ \ \newcommand{\var}{\mathrm{var}}\widehat{\var}(\hat{\kappa}) = \frac{1}{N(1-p_c)^4} \{ \displaystyle\sum_{i=1}^{k} p_{ii}[(1-p_o) - (p_{.i} + p_{i.})(1-p_o)]^2 \\ \ \ \ + (1-p_o)^2 \displaystyle\sum_{i=1}^{k} \displaystyle\sum_{j=1 \atop i\not=j}^{k} p_{ij} (p_{.i} + p_{j.})^2 - (p_op_c-2p_c+p_o)^2 \}$

귀무 가설 하에서 다음과 같이 주어진다.

$\ \ \ \widehat{\var}(\hat{\kappa}) = \frac{1}{N(1-p_c)^2} \{ \displaystyle\sum_{i=1}^{k} p_{.i}p_{i.} [1- (p_{.i} + p_{i.})^2] + \displaystyle\sum_{i=1}^{k} \displaystyle\sum_{j=1, i\not=j}^{k} p_{.i}p_{j.}(p_{.i} + p_{j.})^2 - p_c^2 \}$

Congalton의 방법은 분산을 얻기위한 델타 방법을 기반으로하는 것 같습니다 (Agresti, 1990; Agresti, 2002); 그러나 델타 방법이 무엇인지 왜 사용 해야하는지 잘 모르겠습니다. 분산,이 방법에 따라,에 의해 주어진다 : $\kappa$

$\ \ \ \widehat{\var}(\hat{\kappa}) = \frac{1}{n} \{ \frac{\theta_1 (1-\theta_1)}{(1-\theta_2)^2} + \frac{2(1-\theta_1)(2\theta_1\theta_2-\theta_3)}{(1-\theta_2)^3} + \frac{(1-\theta_1)^2(\theta_4-4\theta_2^2)}{(1-\theta_2)^4} \}$

어느

$\ \ \ \theta_1 = \frac{1}{n} \displaystyle\sum_{i=1}^{k} n_{ii}$

$\ \ \ \theta_2 = \frac{1}{n^2} \displaystyle\sum_{i=1}^{k} n_{i+}n_{+i}$

$\ \ \ \theta_3 = \frac{1}{n^2} \displaystyle\sum_{i=1}^{k} n_{ii}(n_{i+} + n_{+i})$

$\ \ \ \theta_4 = \frac{1}{n^3} \displaystyle\sum_{i=1}^{k} \displaystyle\sum_{j=1}^{k} n_{ij}(n_{j+} + n_{+i})^2$

(Congalton은 대신 아래 첨자를 사용 하지만 같은 것을 의미하는 것 같습니다. 또한 는 계산 행렬, 즉 혼동 행렬을 샘플 수로 나누기 전에 화학식 의해 관련 ) $+$ $.$ $n_{ij}$ $p_{ij} = \frac{n_{ij}}{\mathrm{samples}}$

또 다른 이상한 부분은 Colgaton의 책이 Cohen의 원고를 참조하는 것처럼 보이지만 가중 Kappa에 대해 논의하기 전까지는 Fleiss et al이 발표 한 Kappa 분산에 대한 수정 사항을 인용하지 않는 것 같습니다. 아마도 그의 첫 번째 간행물은 kappa에 대한 진정한 공식이 여전히 혼란에서 잃었을 때 작성 되었습니까?

왜 그 차이가 다른지 설명 할 수 있습니까? 또는 왜 누군가가 Fleiss의 수정 된 버전 대신 델타 방법 분산을 사용합니까?

[1] : Fleiss, Joseph L .; 코헨, 야곱; BS, 에버릿; 카파 및 가중 카파의 큰 표본 표준 오차. 심리 게시판, Vol 72 (5), 1969 년 11 월, 323-327. 도 : 10.1037 / h0028106

[2] : 코헨, 야곱 (1960). 공칭 스케일에 대한 일치 계수. 교육 및 심리 측정 20 (1) : 37–46. DOI : 10.1177 / 001316446002000104.

[3] : Alan Agresti, 범주 형 데이터 분석, 2 판. 존 와일리와 아들, 2002.

[4] : Russell G. Congalton 및 Green, K .; 원격으로 감지 된 데이터의 정확성 평가 : 원칙 및 사례, 2 판. 2009.

— 세자르
소스

일부 괄호가 꺼져 있습니다. 고칠 수 있습니까? 또한 중첩 된 괄호를 {[(x + y) ^ z + a] ^ b-c}로 형식화하여 더 읽기 쉽게 만들 수 있습니다.

— StasK

또한 자체와 다른 동등한 공식이 존재하는 경우 제공하십시오. 특정 대체 제제에 따라 분산 표현을 얻는 것이 더 쉬울 수 있습니다. (저는 복잡한 조사 데이터에 대해 전혀 다른 분산 추정기를 내포하는 iid 데이터에 대한 5 가지 정도의 공식이있는 Gini 지수를 생각하고 있습니다.)

κ

$\kappa$

— StasK

피드백 주셔서 감사합니다. 수식을 수정하고 Kappa 계산 방법을 추가했습니다. 카파 공식은 문헌 전체에서 일관된 것처럼 보이지만 그 차이는 그렇지 않습니다.

— Cesar

그건 그렇고, 방금 Colgaton의 책에서 인쇄 오류로 보이는 것을 보았습니다 : 그는 를 정의하지만이 는 어디에서 나왔습니다. 이어야한다고 생각합니다 . 그렇지 않으면 많은 의미가 있습니다.

p_{c} = \sum_{i = 1}^{k} p_{i +} p_{+ j}

$p_c = \sum_{i=1}^k p_{i+} p_{+j}$

j

$j$

p_{c} = \sum_{i = 1}^{k} p_{i +} p_{+ i}

$p_c = \sum_{i=1}^k p_{i+} p_{+i}$

— Cesar

나는 적어도이 부분에 당신에게 손을 줄 수있다 : "나는 확실히 델타 방법이 무엇인지에 아닙니다"- en.wikipedia.org/wiki/Delta_method 과 분산에서이 온다 여기

— Glen_b

분산을 계산하는 두 가지 방법 중 어느 것을 선호하는지 모르겠지만 코헨의 카파에 대한 베이지안 추정을 사용하여 신뢰 / 신뢰할 수있는 구간을 계산하는 세 번째, 실용적이고 유용한 방법을 제공 할 수 있습니다.

아래 의 R 및 JAGS 코드는 데이터가 제공된 Kappa의 신뢰할 수있는 값의 사후 분포에서 MCMC 샘플을 생성합니다.

library(rjags)
library(coda)
library(psych)

# Creating some mock data
rater1 <- c(1, 2, 3, 1, 1, 2, 1, 1, 3, 1, 2, 3, 3, 2, 3) 
rater2 <- c(1, 2, 2, 1, 2, 2, 3, 1, 3, 1, 2, 3, 2, 1, 1) 
agreement <- rater1 == rater2
n_categories <- 3
n_ratings <- 15

# The JAGS model definition, should work in WinBugs with minimal modification
kohen_model_string <- "model {
  kappa <- (p_agreement - chance_agreement) / (1 - chance_agreement)
  chance_agreement <- sum(p1 * p2)

  for(i in 1:n_ratings) {
    rater1[i] ~ dcat(p1)
    rater2[i] ~ dcat(p2)
    agreement[i] ~ dbern(p_agreement)
  }

  # Uniform priors on all parameters
  p1 ~ ddirch(alpha)
  p2 ~ ddirch(alpha)
  p_agreement ~ dbeta(1, 1)
  for(cat_i in 1:n_categories) {
    alpha[cat_i] <- 1
  }
}"

# Running the model
kohen_model <- jags.model(file = textConnection(kohen_model_string),
                 data = list(rater1 = rater1, rater2 = rater2,
                   agreement = agreement, n_categories = n_categories,
                   n_ratings = n_ratings),
                 n.chains= 1, n.adapt= 1000)

update(kohen_model, 10000)
mcmc_samples <- coda.samples(kohen_model, variable.names="kappa", n.iter=20000)

아래의 플롯은 Kappa의 사후 분포에서 MCMC 샘플의 밀도 플롯을 보여줍니다.

후부 카파 밀도

MCMC 샘플을 사용하여 Kappa의 추정값으로 중앙값을 사용하고 95 % 신뢰 / 신뢰할 수있는 구간으로 2.5 % 및 97.5 % Quantile을 사용할 수 있습니다.

summary(mcmc_samples)$quantiles
##      2.5%        25%        50%        75%      97.5% 
## 0.01688361 0.26103573 0.38753814 0.50757431 0.70288890

이것을 Fleiss, Cohen 및 Everitt에 따라 계산 된 "고전적인"추정치와 비교하십시오.

cohen.kappa(cbind(rater1, rater2), alpha=0.05)
##                  lower estimate upper
## unweighted kappa  0.041     0.40  0.76

개인적으로 고전적 신뢰 구간보다 베이지안 신뢰 구간을 선호합니다. 특히 베이지안 신뢰 구간이 더 작은 표본 특성을 가지고 있다고 생각하기 때문입니다. 사람들이 베이지안 분석에서 공통적으로 우려하는 것은 매개 변수의 분포에 관한 사전 신념을 명시해야한다는 것입니다. 다행히도이 경우 모든 모수에 균일 한 분포를 두어 "객관적인"사전을 쉽게 구성 할 수 있습니다. 이것은 베이지안 모델의 결과가 Kappa 계수의 "고전적인"계산과 매우 유사해야합니다.

참고 문헌

Sanjib Basu, Mousumi Banerjee 및 Ananda Sen (2000). 단일 및 다중 연구에서 카파에 대한 베이지안 추론. 생체 인식 , Vol. 56, No. 2 (2000 년 6 월), 577-582 페이지

— 라스무스 보아스
소스

세 명 이상의 평가자에게이 확장이 있는지 알고 있습니까?

— Fomite