순위 목록 비교

및 포함하는 두 그룹이 각각 가장 중요하지 않은 항목에서 25 개 항목의 순위를 정 한다고 가정합니다 . 이 순위를 비교하는 가장 좋은 방법은 무엇입니까?n $n_1$$n_2$

분명히 25 개의 Mann-Whitney U 테스트를 수행 할 수는 있지만 해석에 25 개의 테스트 결과가 나올 수 있습니다. 순위가이 테스트의 모든 가정을 만족한다는 것도 명확하지 않습니다.

또한 등급 대 순위에 관한 문헌에 대한 포인터에 관심이 있습니다.

일부 맥락 :이 25 가지 항목은 모두 교육과 관련이 있으며 두 그룹은 서로 다른 유형의 교육자입니다. 두 그룹 모두 작습니다.

@ttnphns 님의 질문에 답변 :

나는 @ttnphns가 지적했듯이 그룹 1의 항목의 총 순위를 그룹 2와 비교하는 것을 의미하지 않았습니다. 그러나 그룹 1과 그룹 2의 순위는 다를 수 있습니다. 즉, 그룹 1은 그룹 2보다 항목 1의 순위를 높일 수 있습니다.

항목별로 항목을 비교하고 각 항목의 평균 또는 중간 순위를 얻고 25 가지 테스트를 수행 할 수는 있지만 더 좋은 방법이 있는지 궁금했습니다.

요약

세부 사항 섹션 에서 생각을 공유 합니다. 우리가 실제로 달성하고자하는 것을 식별하는 데 유용하다고 생각합니다.

여기서 중요한 문제는 순위 유사성이 무엇을 의미하는지 정의하지 않았다는 것입니다. 따라서 순위 간의 차이를 측정하는 방법이 더 나은 방법을 모릅니다.

실제로 이것은 추측에 근거한 방법을 모호하게 선택하게합니다.

내가 실제로 제안하는 것은 먼저 수학적 최적화 목표를 정의하는 것입니다. 그래야만 우리가 원하는 것을 진정으로 알 수있을 것입니다.

우리가 그렇게하지 않는 한, 우리가 원하는 것을 정말로 모른다. 우리는 수도 거의 우리가 원하는 것을 알고 있지만 거의 알고 알고 .$\ne$

나의 텍스트 정보는 본질적으로의 수학적 정의에 도달 향해 단계 순위 유사성을 . 우리가 이것을 잡으면, 우리는 그런 유사성을 측정하는 가장 좋은 방법을 선택하기 위해 자신있게 나아갈 수 있습니다.

세부

유어 의견 중 하나를 기반으로 :

• " 목적은 두 그룹의 순위가 다른지 확인하는 것 "(Peter Flom)입니다.

목표 를 엄격하게 해석 하면서 이에 대답하려면 다음을 수행하십시오 .

• 순위는 어느 아이템 경우 다른 존재, 되도록 여기서 항목의 순위 인 그룹으로 및 은 IS 같은 항목이지만 그룹 순위입니다 .i a i ≠ b i a i i a b i$i \in \{1,2,\ldots,25\}$$i$$a_i \ne b_i$$a_i$$i$$a$$b_i$$b$
• 그렇지 않으면 순위가 다르지 않습니다.

그러나 나는 당신이 정말로 그 엄격한 해석을 원한다고 생각하지 않습니다 . 따라서 나는 당신이 정말로 말하려는 의미는 다음과 같습니다.

• 그룹 와 의 순위는 어떻게 다릅니 까?$a$$b$

여기서 한 가지 해결책은 단순히 최소 편집 거리 를 측정하는 것 입니다. 즉, 그룹 의 순위가 매겨진 그룹 와 그룹 의 목록과 동일 해 지도록 수행해야하는 최소 편집 횟수는 무엇입니까 ?$a$$b$

편집은 두 항목을 교환하는 것으로 정의 될 수 있으며 필요한 홉 수에 따라 비용이 포인트입니다. 따라서 항목 을 항목 과 교체해야하는 경우 (그룹 와 의 순위를 동일하게하기 위해 )이 편집 비용은 입니다.1 3 a b $n$$1$$3$$a$$b$$3$

그러나이 방법이 적합합니까? 이에 답하기 위해 조금 더 깊이 살펴 보겠습니다.

• 정규화되지 않았습니다. 우리 그룹 순위 간의 거리라고하면 인 그룹의 순위 사이의 간격 동안, 인 , 반드시 의미하지는 않으며 보다 서로 더 유사 이다 서로 (또한 가능한 것을 의미 할 수 아이템의 더 큰 세트의 순위를했다).3 c , d 123 a , b c , d c , $a,b$$3$$c,d$$123$$a,b$$c,d$$c,d$

• 각 편집 비용 은 홉 수와 관련하여 선형 이라고 가정합니다 . 애플리케이션 도메인에 해당 되는가? 그것은 일 수 있었다 물류 관계가 더 적합? 아니면 기하 급수적 인 것입니까?

• 모든 항목이 똑같이 중요하다고 가정합니다. 예를 들어 순위 항목 (예 : ) 의 불일치가 순위 항목 (예 : )의 불일치와 동일하게 처리 됩니다. 도메인에서 이것이 사실입니까? 예를 들어, 책 순위를 매기는 경우 TAOCP 책과 같은 유명한 책의 순위에 동의하지 않으며 TAOUP ?$1$$5$

위의 요점을 해결하고 두 등급 사이의 적절한 유사성 척도에 도달하면 다음과 같은 더 흥미로운 질문을해야합니다.

• 그룹 와 의 차이 가 무작위 확률에 의한 것일 경우 그러한 차이를 관찰 할 확률은 얼마나 됩니까?$a$$b$

이것은 'Willcoxon signed-rank test'( wikipedia link ) 와 비슷합니다 . 순위 값이 동일한 세트 (예 :)에서 나온 것으로 가정하면 이는 [1, 25]쌍차 테스트입니다 (이 가정은 귀무 가설이 무작위로 선택됨). NB 이것은 비 유사성 점수입니다!

해당 위키 페이지에는 링크 R와 Python구현 이 모두 있습니다 .

경고 : 좋은 질문이며 답을 모릅니다. 따라서 "필요한 경우해야 할 일"에 가깝습니다.

이 문제에는 많은 자유 도와 비교가 가능하지만 데이터가 제한되어 있으면 데이터를 효율적으로 집계하는 것이 중요합니다. 실행할 테스트를 모르는 경우 항상 순열을 사용하여 테스트를 "발명"할 수 있습니다.

먼저 두 가지 함수를 정의합니다.

• 투표 기능 : 순위를 매기는 방법으로 단일 그룹의 모든 순위를 결합 할 수 있습니다. 예를 들어 최상위 항목에 1 점을, 다른 모든 항목에 0을 지정할 수 있습니다. 많은 정보를 잃어 버릴 수 있으므로 최상위 항목은 1 점, 2 위는 2 점 등을 사용하는 것이 좋습니다.

• 비교 기능 : 두 그룹 간의 두 집계 점수를 비교하는 방법. 둘 다 벡터가 될 것이기 때문에 적절한 차이의 표준을 취하는 것이 효과적입니다.

이제 다음을 수행하십시오.

1. 먼저 두 그룹의 각 항목에 대해 투표 기능을 사용하여 평균 점수를 계산하여 검정 통계량을 계산하면 크기가 25 인 두 벡터가 생성됩니다.
2. 그런 다음 비교 함수를 사용하여 두 결과를 비교하면 테스트 통계가됩니다.

문제는 두 그룹이 모두 같은 널 (null) 하에서 검정 통계량의 분포를 모른다는 것입니다. 그러나 그것들이 동일하다면, 그룹간에 무작위로 관측 값을 섞을 수 있습니다.

따라서 우리는 두 그룹의 데이터를 결합하고, 셔플 / 퍼 뮤트하고, 그룹 A에 대한 첫 번째 (원래 그룹 A의 관측치 수) 관측 값을 선택하고 그룹 B의 나머지를 선택합니다. 이제이 샘플에 대한 검정 통계량을 앞의 두 단계.$n_1$

이 과정을 1000 회 정도 반복 한 다음 순열 검정 통계량을 경험적 널 분포로 사용합니다. 이렇게하면 p- 값을 계산할 수 있으며 다음과 같이 멋진 히스토그램을 작성하고 검정 통계량에 대한 선을 그리는 것을 잊지 마십시오.

물론 좋은 투표를하려면 올바른 투표 및 비교 기능을 선택해야합니다. 그것은 실제로 당신의 목표와 직관에 달려 있지만, 투표 기능과 표준에 대한 두 번째 제안은 시작하기에 좋은 장소 라고 생각 합니다. 이러한 선택은 큰 차이를 만들 수 있습니다. 상기 플롯이 사용되었다 규범이은과 같은 데이터이다 규범 :l 1 l $l_1$$l_1$$l_2$

그러나 설정에 따라 본질적인 무작위성이 많이있을 것으로 예상되며 모든 방법을 사용하려면 상당히 큰 샘플 크기가 필요합니다. 특정 항목에 대한 사전 지식이있는 경우 두 그룹 (예 : 특정 항목)간에 다를 수 있다고 생각되면이를 사용하여 두 기능을 조정하십시오. (물론, 테스트를 실행하기 전에 일반적 으로이 작업을 수행하고 중요한 사항이 적용될 때까지 디자인을 선택하지 마십시오. )

내 (지저분한) 코드에 관심이 있으시면 PS가 메시지를 보내주십시오. 여기에 추가하는 데 시간이 너무 오래 걸리지 만 업로드 해 드리겠습니다.