이벤트 시간에 대한 불확실성을 가진 시계열의 이벤트에 대한 인터 레이터 신뢰성

시계열에서 이벤트를 식별하려고하는 여러 독립 코더가 있습니다.이 경우 대면 대화 비디오를보고 특정 비언어적 행동 (예 : 헤드 노드)을 찾고 각 시간과 범주를 코딩합니다. 행사. 이 데이터는 샘플링 속도가 높은 (30 프레임 / 초) 이산 시계열 또는 연속 시계열로 처리하기에 적당 할 수 있습니다.

인터-래터 신뢰도의 일부 측정 값을 계산하고 싶지만 이벤트 발생 시기에 약간의 불확실성이 있을 것으로 예상 합니다. 즉, 한 코더가 다른 코더가 시작했다고 생각한 것보다 1/4 초 후에 특정 움직임이 시작된 코드를 예상 할 수 있습니다. 도움이되는 경우는 드물다. 일반적으로 이벤트간에 최소 몇 초 (수백 개의 비디오 프레임)가 필요합니다.

이러한 종류의 동의와 불일치를 모두 검토하는 평가자 간 신뢰도를 평가하는 좋은 방법이 있습니까? (1) 평가자는 어떤 이벤트가 발생했는지 (있는 경우)에 동의하고, (2) 언제 발생했는지 에 동의 합니까? 두 번째는 사람들에게 말하는 것과 같이 대화에서 발생하는 다른 것들과 관련하여 이러한 이벤트의 타이밍을 보는 데 관심이 있기 때문에 나에게 중요합니다.

내 분야의 표준 관행은 사물을 시간 조각으로 나누고, 1/4 분의 1 정도라고 말하고 각 조각이 시간 조각별로보고 된 이벤트를 집계 한 다음 Cohen의 카파 또는 유사한 측정을 계산하는 것 같습니다. 그러나 슬라이스 기간의 선택은 특별하며, 이벤트 시간의 불확실성에 대한 좋은 아이디어는 얻지 못합니다.

내가 지금까지 생각한 것은 일종의 신뢰성 곡선을 계산할 수 있다는 것입니다. 두 개의 이벤트가 동시에 코딩되는 것으로 간주되는 창 크기의 함수 인 kappa와 같은 것입니다. 그래도 어디로 가야할지 모르겠습니다.

생각할 몇 가지 방법이 있습니다.

1

A) 각각의 전체 코딩 시퀀스를 순서가 지정된 이벤트 세트 (예 : [ "head nod", "head shake", "head nod", "eyebrow raised"] 및 ""head nod ","head shake ")로 취급 할 수 있습니다. , "눈썹 제기"])하고 나에게 맞는 알고리즘을 사용하여 시퀀스를 정렬합니다 ( http://en.wikipedia.org/wiki/Sequence_alignment ). 그런 다음 전체 시퀀스에 대한 인터 코더 안정성을 계산할 수 있습니다.

B) 그런 다음 정렬 된 시퀀스를 다시 사용하여 이벤트가 발생했다고 말하면 이벤트가 발생했다는 것을 비교할 수 있습니다.

2) 또는 이것을 숨겨진 Markov 모델로 모델링하고 Baumn-Welch 알고리즘과 같은 것을 사용하여 실제 이벤트가 주어지면 각 코더가 실제로 데이터를 올바르게 코딩 한 확률을 무시할 수 있습니다. http://en.wikipedia.org/wiki/Baum-Welch_algorithm

임의의 조각으로 데이터를 분할하는 대신 실제 시간 차이를 고려할 수 있습니다. 코더 1은 시간과 행동을보고합니다 :

049 D
113 C
513 C
724 G

다른 코더에 따라 가장 안정적인 코더를 확인하는 간단한 방법은 다음과 같이 점수를 매기는 것입니다.

Add a point for each other coder that reported a D between (049-025) and (049+025)
Add a point for each other coder that reported a C between (113-025) and (113+025)
Add a point for each other coder that reported a C between (513-025) and (513+025)
Add a point for each other coder that reported a C between (724-025) and (724+025)
Subtract a point for each reported action.

친밀감이 중요한 경우 다음과 같은 대안을 고려하십시오.

Add 25/(Time_Thiscoder-Time_Othercoder)^2 points for each other coder that reported a matching observation.

사용 가능한 모든 문제 정보를 가지고이 아이디어를 실제적으로 구현하는 것은 어렵지 않습니다.