복수 질문 시험에서 부정 행위의 패턴 감지

의문:

시험 문제에 대한 이진 데이터가 있습니다 (정확한 / 잘못된). 일부 개인은 사전에 일부 질문과 정답에 액세스했을 수 있습니다. 나는 누가, 얼마나, 또는 어느 것을 모른다. 어떤 부정이 없다면, I는 항목에 대한 정답 확률을 모델링하는 것이 생각 대로 , 질문 어려움 나타내고 $i$ $logit((p_i = 1 | z)) = \beta_i + z$ $\beta_i$ $z$ 개인의 잠재 능력입니다. 이 LTM의 RASCH 같은 기능을 추정 할 수있는 매우 간단한 항목 응답 모델 ()는 추정에 R.에서의 추가 ( 잠재 변수의 인덱스 개인), I는 별도의 추정에 액세스 할 수있는 부정 행위가 불가능한 다른 데이터 세트에서 파생 된 동일한 잠재 변수의 $\hat{z}_j$ $j$ $\hat{q}_j$

목표는 부정 행위했을 가능성이있는 개인과 자신이 속인 항목을 식별하는 것입니다. 어떤 접근법을 취할 수 있습니까? 원시 데이터 , 및 처음 두 의한 부정 행위에 약간의 바이어스를 가질지라도, 모든 가능하다. 이상적으로는 솔루션이 확률 적 군집 / 분류의 형태로 제공되지만 이것이 반드시 필요한 것은 아닙니다. 실용적인 아이디어는 공식적인 접근 방식과 마찬가지로 매우 환영합니다. $\hat{\beta}_i$ $\hat{z}_j$ $\hat{q}_j$

지금까지, 나는 더 높은 대 낮은 개인의 쌍에 대한 질문 점수의 상관 관계를 비교 한 (점수 그들이 사기 확률의 거친 인덱스입니다). 예를 들어, 내가 의한 개인 분류 하고 개인의 문제 점수의 연속 쌍의 상관 관계를 꾸몄다. 또한 개인 점수의 평균 상관하려 시도 $\hat{q}_j -\hat{z}_j$ $\hat{q}_j - \hat{z}_j$ $\hat{q}_j - \hat{z}_j$ $\hat{q}_j - \hat{z}_j$ 값이보다 더 컸다 의 분위수 의 함수로서, . 두 가지 접근 방식에 대한 명확한 패턴은 없습니다. $n^{th}$ $\hat{q}_j - \hat{z}_j$ $n$

최신 정보:

@SheldonCooper의 아이디어와 @whuber가 지적한 유용한 Freakonomics 논문 을 결합했습니다. 다른 아이디어 / 의견 / 비평은 환영합니다.

하자 대상자의 문제에의 진 점수 . 품목 반응 모델 추정합니다 여기서 는 품목의 용이성 매개 변수이고 는 잠재적 능력 변수입니다. 복잡한 모델을 대체 할 수 있습니다. 응용 프로그램에서 2PL을 사용하고 있습니다.) 원래 게시물에서 언급했듯이 추정치가 있습니다. $X_{ij}$ $j$ $i$

l o g i t (P r (X_{i j} = 1 | z_{j}) = β_{i} + z_{j},

$logit(Pr(X_{ij} = 1 | z_j) = \beta_i + z_j,$

β_{i}

$\beta_i$

z_{j}

$z_j$

별도 세트의 능력 변수

부정 행위를 할 수 없었다있는 (다른 아이템 동일인). 구체적

상기와 동일 항목 반응 모델의 경험적 베이 즈 추정이다.

\hat{q_{j}}

$\hat{q_j }$

{y_{i j}}

$\{y_{ij}\}$

\hat{q_{j}}

$\hat{q_j}$

$x_{ij}$

p_{i j} = P r (X_{i j} = x_{i j} | \hat{β_{i}}, \hat{q_{j}}) = P_{i j} (\hat{β_{i}}, \hat{q_{j}})^{x_{i j}} (1 - P_{i j} (\hat{β_{i}}, \hat{q_{j}}))^{1 - x_{i j}},

$p_{ij} = Pr(X_{ij} = x_{ij} | \hat{\beta_i }, \hat{q_j }) = P_{ij}(\hat{\beta_i }, \hat{q_j })^{x_{ij}} (1 - P_{ij}(\hat{\beta_i }, \hat{q_j }))^{1-x_{ij}},$

P_{i j} (\hat{β_{i}}, \hat{q_{j}}) = i l o g i t (\hat{β_{i}} + \hat{q_{j}})

$P_{ij}(\hat{\beta_i }, \hat{q_j }) = ilogit(\hat{\beta_i} + \hat{q_j})$

i l o g i t

$ilogit$

j

$j$

x_{j}

$x_j$

p_{j} = \prod_{i} p_{i j},

$p_j = \prod_i p_{ij},$

i

$i$

x_{i}

$x_i$

p_{i} = \prod_{j} p_{i j} .

$p_i = \prod_j p_{ij}.$

p_{j}

$p_j$

p_{j}

$p_j$

j

$j$

p_{i j}

$p_{ij}$

내가 시도한 추가 단계는 가장 가능성이 낮은 사람 (즉, 정렬 된 p_j 값의 가장 낮은 r %를 가진 사람)의 r %를 가져 와서 관찰 점수 x_j 사이의 평균 거리를 계산하는 것입니다 (r이 낮은 사람과 관련이 있어야합니다. 가능한 사기꾼입니다), r = 0.001, 0.002, ..., 1.000에 대해 플로팅합니다. r = 0.001에서 r = 0.025에 대한 평균 거리가 증가하고 최대 값에 도달 한 다음 r = 1에서 최소값으로 천천히 감소합니다.

r clustering classification psychometrics

— 잠김
소스

부정 행위의 본질에 대한 정보가 거의 없기 때문에 이것은 어려운 문제입니다. 열심히 공부 한 학생과 사기꾼을 어떻게 구별합니까? 더 많은 정보가 없으면 할 수 없습니다. 한 가지 가능성은 학생들이 서로를 복사하여 속임수를 쓰거나 일부 학생들이 동일한 답변에 접근 할 수있는 경우입니다. 이 경우 학생들 사이의 거리 기능을 만들 수 있고 (거리가 좁을수록 동일한 질문에 잘 수행되었음을 의미) 여기에서 패턴을 찾을 수 있습니다. 이것은 더 결정적인 IMO가 될 것입니다.

— rm999

Levitt와 Dubner는 Freakonomics ( freakonomicsmedia.com ) 에서의 접근 방식을 설명합니다 .

— 우버

@ rm999 명확히하기 위해 사기꾼은 동일한 하위 질문에 액세스 할 수있었습니다 (예 : 시험 관리 전에 부분 응답 키가 유출 된 경우). 나는 복사로 인한 부정 행위에 관심이 없습니다. 이것이 확실하지 않은 경우 주말에 내 질문을 수정합니다.

— 잠금 해제

@ whuber 감사합니다, 나는 논문을 찾아 볼 것입니다 (게시 된 것으로 가정). 나는 오디오 북을 들었지만, 그들이 사기꾼 (학생들의 답변을 푸는 교사 인)을 어떻게 식별했는지에 대한 세부 사항을 기억할 수 없다.

— 잠금

Freakonomics 사례를 회상하면, (a) 1 년 전과 비교했을 때 큰 성취를 보인, (b) 더 쉬운 질문에 대한 다른 대답, (c) 나중에 더 어려운 질문에 대한 답을함으로써 교사가 아이들이 비워 둔 답을 채우는 것을 암시합니다.

— Henry

답변:

임시 접근

$\beta_i$ $i$ $j$ $\beta_i + q_j$ (참고 $q_j$ 상수 오프셋 일 뿐이며 합리적인 위치에서 임계 값을 설정합니다 (예 : p (correct) <0.6). 이것은 학생이 올바르게 대답하지 못할 일련의 질문을 제공합니다. 이제 가설 검정을 사용하여 이것이 위반되었는지 여부를 확인할 수 있습니다.이 경우 학생이 부정 행위했을 가능성이 있습니다 (물론 모델이 올바른 것으로 가정). 한 가지주의 할 점은 그러한 질문이 거의 없다면 테스트에 신뢰할만한 데이터가 충분하지 않을 수 있다는 것입니다. 또한 그가 50 %의 확률로 추측 할 수 있기 때문에 그가 속이는 질문을 결정할 수 없다고 생각합니다. 그러나 많은 학생들이 동일한 질문 세트에 액세스하고 속이는 것으로 가정하면, 여러 학생을 통해 이러한 질문을 비교하고 어떤 질문이 우연보다 더 자주 대답했는지 확인할 수 있습니다.

질문으로 비슷한 트릭을 할 수 있습니다. 즉, 각 질문에 대해 $q_j$ , 추가 $\beta_i$ (이제 상수 오프셋 임) 및 확률 0.6에서 임계 값입니다. 이 질문에 정확하게 답할 수없는 학생들의 목록을 제공합니다. 따라서 그들은 추측 할 확률이 60 %입니다. 다시 가설 검정을 수행하여 위반 여부를 확인하십시오. 이것은 대부분의 학생들이 동일한 질문에 대해 속이는 경우에만 작동합니다 (예 : 시험 전에 질문의 일부가 '누출'된 경우).

원칙적 접근

각 학생마다 이진 변수가 있습니다 $c_j$ 학생이 사기꾼인지 여부를 나타내는 적절한 확률로 Bernoulli를 사용합니다. 각 질문마다 이진 변수가 있습니다 $l_i$ , 다시 적절한 Bernoulli를 사용하여 질문이 유출되었는지 여부를 나타냅니다. 그런 다음 이진 변수 세트가 있습니다. $a_{ij}$ 학생 여부를 나타내는 $j$ 답변 된 질문 $i$ 바르게. 만약 $c_j = 1$ 과 $l_i = 1$ 그런 다음 분포 $a_{ij}$ 확률이 0.99 인 Bernoulli입니다. 그렇지 않으면 분포는 $logit(\beta_i + q_j)$ . 이들 $a_{ij}$ 관찰 된 변수입니다. $c_j$ 과 $l_i$ 숨겨져 있으며 유추되어야합니다. Gibbs 샘플링으로 가능합니다. 그러나 다른 접근법들도 가능할 수 있습니다. 아마도 biclustering과 관련된 것일 수도 있습니다.

— 셀던 쿠퍼
소스

나는 당신의 대답의 첫 부분을 읽고 그것이 유망하다고 생각합니다. 두 가지 빠른 메모-이것은 객관식이므로 올바르게 추측 할 확률은 25 % 또는 20 %입니다. 시험 전에 일부 질문이 유출되었다고 가정 할 수 있습니다. 일요일이나 월요일에 이것으로 돌아갑니다.

— 8

좀 더 복잡한 접근 방식을 원하면 항목 반응 이론 모델을 볼 수 있습니다. 그런 다음 각 질문의 난이도를 모델링 할 수 있습니다. 어려운 물건을 잃어 버렸지 만 어려운 물건을 잃어버린 학생들은 그 반대의 사람들보다 부정 행위를 할 가능성이 높다고 생각합니다.

이런 종류의 일을 한 지 10 년이 지났지 만 유망 할 수 있다고 생각합니다. 자세한 내용은 심리 측정 서적을 확인하십시오.

— 피터 플 로움-모니카 복원
소스

일반적으로 부정 행위 또는 추측은 IRM에 직접 통합 될 수 있습니다. 이것은 본질적으로 3-PL 모델이 의도 한 바입니다. 난이도 , 차별 및 추측에 대한 매개 변수가 포함되어 있기 때문에 항목을 보증 할 확률이 낮은 점근선 역할을합니다. 그러나 대부분의 상황에서 비현실적인 것으로 입증되었으며 다른 전용 개인 맞춤 통계 가 교육 테스트 또는 심리 평가와 함께 개발되었습니다. Meijer, 개인 맞춤 연구 : 소개. APM (1996), 9 : 3-8은 비정상적인 반응 패턴에 대한 좋은 리뷰를 가지고 있습니다.

— chl

@chl 감사합니다! 나는 대학원에서 이런 것들을 공부했지만 오래전에 마지막 수업은 1996 년 정도였습니다.

— Peter Flom-Monica Monica 복원

@chl 제안 해 주셔서 감사합니다. 내 질문에있는 모델은 실제로 항목 응답 모델입니다 (고정 차별 매개 변수가있는 Rasch 또는 1PL 모델). 나는 비정상적인 성과를 가진 개인을 바라 보라는 제안이 좋은 출발이라고 생각하지만, 부정 행위가 발생한 항목에 대한 사기꾼의 대응에서 제공되는 추가 정보를 활용하는 접근법을 찾고 있습니다. 예를 들어, 사기꾼을 식별하기 위해 절차를 사용했다면 비슷한 어려운 항목에서 성능이 우수하다고 생각할 수 있습니다.

— 잠금 해제