이 자료를 사용하여 학생 서류 채점에서 다른 수준의 관대함을 가진 마커를 교정하려면 어떻게해야합니까?

12 명의 교사가 600 명의 학생들을 가르치고 있습니다. 이 교사들이 가르치는 12 개 코호트의 규모는 40 명에서 90 명 사이이며, 대학원생이 특정 코호트에 불균형 적으로 배정되어 있으며, 이전 경험에 따르면 대학원생의 평균 점수가 상당히 높은 것으로 나타났습니다. 학부생.

교사들은 코호트의 모든 논문을 채점하고 100 점 만점에 점수를 부여했습니다.

각 교사는 또한 다른 세 명의 교사가 무작위로 선택한 종이 한 장을보고 100 점 만점을 받았습니다. 각 교사는 다른 교사가 표시 한 세 개의 논문을 가지고 있습니다. 36 개의 다른 논문이 이런 식으로 크로스 마킹되었고, 나는 이것을 교정 데이터라고 부릅니다.

또한 각 코호트에 얼마나 많은 대학원생이 있는지 볼 수 있습니다.

내 질문은 :

A)이 캘리브레이션 데이터를 사용하여 원래 마크를 공정하게 만들기 위해 어떻게 조정할 수 있습니까? 특히, 지나치게 관대하고 기발한 제작자의 효과를 최대한 씻어 내고 싶습니다.

B) 교정 데이터는 얼마나 적절합니까? 이 과정에서 얻은 교정 데이터의 36 개 데이터 포인트 중에서 선택할 수 없었으며 현재 학기 동안 더 이상 수집 할 수있는 옵션이 없습니다. 그러나이 상황이 반복되면 더 많은 교정 데이터를 수집하거나 다른 유형의 교정 데이터를 수집 할 수 있습니다.

이 질문은 내가 한 인기있는 질문 과 관련이 있습니다. 학생 논문 채점에서 다른 수준의 관대함을 가진 마커의 효과를 어떻게 가장 잘 다룰 수 있습니까? . 그러나 그것은 다른 과정이며 그 질문을 읽는 것이 현재의 질문에 대한 배경으로 얼마나 유용한 지 잘 모르겠습니다. 주된 문제는 교정 데이터가 없었기 때문입니다.

이것은 매트릭스 인수 분해 추천 시스템 을 사용할 수있는 좋은 기회 인 것 같습니다 . 간단히 말해 다음과 같이 작동합니다.

• 관측치를 부분적으로 관측 된 행렬에 넣습니다.$M$ 어디 $M_{ij}$ 점수 선생님입니다 $i$ 학생에게 주었다 $j$.

• 이 행렬이 잠재적 특징 벡터의 외부 곱이라고 가정합니다. $\vec t$ 과 $\vec s$--그건, $M_{ij} = t_i s_j$.

• 제곱 재구성 오류를 최소화하는 잠재 특징 벡터를 해결 $\sum_{i,j} (t_is_j - M_{ij})^2$ (여기서 합계는 $M$).

• 추측을 수정하여이 기대 최대화 스타일을 수행 할 수 있습니다. $\vec t$ 그리고 해결 $\vec s$ 최소 제곱을 통해 다음 추측을 고정 $\vec s$ 그리고 해결 $\vec t$ 수렴 될 때까지 반복합니다.

이것은 교사의 편견의 형태에 대해 상당히 강력한 가정을합니다. 특히 학생의 잠재 기능을 "진정한 점수"로 생각하면 교사의 편견은 각 실제 점수에 일정한 양을 곱합니다 ( 대신에 행렬에 삽입 한 점수를 지수화 한 다음 "진정한 점수"의 지수를 배우십시오. 캘리브레이션 데이터가 너무 적 으면이 형식을 강력하게 가정하지 않고도 멀리 갈 수는 없지만 더 많은 데이터가있는 경우 잠재적 인 특징 등의 2 차원을 추가 할 수 있습니다.$M_{ij} = \sum_{k=1}^n s_{ik} t_{kj}$ 다시 제곱 재구성 오류를 최소화하십시오.

편집 : 잘 정의 된 문제를 갖기 위해서는 잠재 매개 변수보다 더 많은 행렬 연산이 필요합니다 (또는 일종의 정규화를 사용할 수 있음). 여기에는 거의 겨우 (여기서 636 개의 관측치와 612 개의 잠재 매개 변수가 있음)가 있으므로 행렬 인수 분해가 제대로 작동하지 않을 수 있습니다. 그런 작은 샘플에서는 처리하지 않았으므로 실제로는 모릅니다.

교정이 좋은 추천 모델을 사용하기에 불충분 한 것으로 판명되면, 교정 Score ~ IsGradStudent + <whatever other student covariates you have> + (1|Teacher)교사 편견의 추정치를 추출하기 위해 다단계 회귀 (교정 데이터 무시)를 시도한 다음이 편향이 교정 데이터와 일치하는지 확인할 수 있습니다 했다. (가능한 경우 교사가 이분산성을 허용해야합니다.) 이것은 좀 더 임시적이지만 데이터 수집 문제가 덜 발생할 수 있습니다.

여기 몇 가지 관련 접근 방식이 있습니다.

교사 효과에 대한 정보가 가장 많고 논문 외부에서는 교사와 코호트 효과가 혼란 스러우므로 (GPA를 통해 코호트 효과를 얻을 수있는 방법이있을 경우) 둘 이상의 교사가 표시 한 논문 세트를 가져 가십시오. 예를 들어 다른 예측 변수를 사용하면 모든 데이터를 사용할 수 있지만 모델이 약간 복잡해집니다).

학생들에게 라벨을 붙인다 $i=1,2, ... n$, 및 마커 $j=1, 2, ...,m$. 마크 세트를$y_{ij}, i=1,2, ... m$.

먼저 마커 효과가 적용되는 방식에 대한 모델을 고려해야합니다. 첨가제입니까? 곱셈입니까? 경계 효과에 대해 걱정해야합니까 (예 : 로짓 스케일에 대한 추가 또는 곱셈 효과가 더 좋을까요)?

두 종이에 주어진 두 개의 마커를 상상하고 두 번째 마커가 더 관대하다고 상상해보십시오. 첫 번째 표식이 종이 30과 60을 줄 것이라고 가정 해 봅시다. 두 번째 표식은 양쪽에 일정한 수의 표식 (예 : 6 표식)을 추가하는 경향이 있습니까? 그들은 일정한 백분율을 추가하는 경향이 있습니까 (예 : 둘 다에 10 % 또는 3 점 대 6 점)? 첫 번째 마커가 99를 주면 어떨까요? -그러면 어떻게됩니까? 0 은요? 두 번째 마커가 덜 관대하다면 어떨까요? 99 또는 0에서 어떻게됩니까? (이것이 내가 로짓 모델을 언급하는 이유입니다-마크를 가능한 마크의 비율로 취급 할 수 있습니다 ($p_{ij}=m_{ij}/100$), 마커 효과는 로짓에 상수 (예 : 상수)를 추가하는 것일 수 있습니다. $p$ -즉 $\log(p_{ij}/(1-p_{ij})$).

(여기에는 관대함의 크기와 크기를 추정하기에 충분한 데이터가 없습니다. 상황에 대한 이해에서 모델을 선택해야합니다. 또한 상호 작용 가능성을 무시해야합니다. 데이터가 있습니다)

가능성 1-일반 첨가제 모델. 실제로 0 또는 100에 가까운 마크가없는 경우에 적합 할 수 있습니다.

같은 모델을 고려하십시오 $E(y_{ij}) = \mu_{i}+\tau_j$

이것은 본질적으로 양방향 분산 분석입니다. 이것에 대한 제약이 필요하므로 마커 효과의 0이되도록 편차 코딩을 설정하거나 모델을 설정하거나 하나의 마커가 기준선 (효과가 0이며 표식이있는 모델)을 설정할 수 있습니다 다른 모든 마커를 향해 조정하려고합니다.)

그런 다음 $\hat{\tau}_j$ 값을 넓히고 마크를 더 넓게 조정 $y_{kj}^\text{adj}=y_{kj}-\hat{\tau}_j$.

가능성 2 : 사실상 비슷한 생각이지만 $E(y_{ij}) = \mu_{i}\tau_j$. 여기에는 비선형 최소 제곱 모델 또는 로그 링크가있는 GLM에 적합 할 수 있습니다 (아마도 두 가지 중 두 번째 방향으로 기울어 졌을 것입니다). 다시 당신은에 대한 제약이 필요합니다$\tau$에스.

그런 다음 적절한 조정은 $\hat{\tau_j}$.

가능성 3 : 로짓 스케일의 첨가제. 일부 마크가 0 또는 100에 가까우면 더 적합 할 수 있습니다. 매우 작은 마크의 경우 대략적으로 곱셈되고, 중간 마크의 경우에는 추가되고 대략적으로 곱하면 보일 것입니다.$1-p=(100-m)/100$매우 높은 점수. 이 모델에 적합하도록 베타 회귀 또는 로짓 링크가 포함 된 준이 항 GLM을 사용할 수 있습니다.