각 유권자의 정확성과 관련 불확실성을 사용하는 투표 시스템

우리가 답을 알고 싶은 간단한 "예 / 아니오"질문이 있다고합시다. 그리고 정답에 "투표"하는 N 명의 사람들이 있습니다. 모든 유권자는 1과 0의 목록을 가지고 있으며 과거에 이런 종류의 질문에 대해 옳았는지 아닌지를 보여줍니다. 역사를 이항 분포로 가정하면 그러한 질문, 변동, CI 및 기타 모든 종류의 신뢰도 지표에서 유권자의 평균 성과를 찾을 수 있습니다.

기본적으로 내 질문은 : 신뢰 정보 를 투표 시스템 에 통합하는 방법은 무엇입니까?

예를 들어, 각 유권자의 평균 성과 만 고려한다면 간단한 가중치 투표 시스템을 구성 할 수 있습니다.

아르 자형 이자형 에스 유 엘 티 = 에스 나는 지 엔 (\sum_{V \in V 영형 티 이자형 아르 자형 에스} μ_{V} \times (- 1)^{1 - V 영형 티 이자형})

$result = sign(\sum_{v \in voters}\mu_v \times (-1)^{1-vote})$

즉, 유권자의 가중치에 ( "yes") 또는 ( "no")을 곱한 값만 합산 할 수 있습니다 . 유권자 1의 평균 정답률이 이고 유권자 2의 비율이 이라면 첫 번째 사람의 투표가 더 중요한 것으로 간주되어야합니다. 반면에, 1 인칭이 이런 종류의 질문 10 개에만 답변하고 2 인칭이 1000 개의 질문에 답변 한 경우, 우리는 1 인칭 기술보다 2 인칭 기술 수준에 대해 훨씬 더 확신합니다. 상대적으로 성공적인 10 개의 답변을 한 후에도 훨씬 더 나쁜 결과를 계속합니다. $+1$ $-1$ $.9$ $.8$

더 정확한 질문은 다음과 같이 들릴 수 있습니다. 일부 매개 변수에 대한 강도 와 신뢰를 모두 포함하는 통계 메트릭이 있습니까?

— 친구
소스

유권자의 전문 지식을 시스템 의 잠재적 변수 로 고려해야합니다 . 그런 다음 베이지안 추론으로 문제를 해결할 수 있습니다 . 그래픽 모델로서의 표현은 다음과 같습니다.

graphic_model

정답에 대한 변수 , 유권자 의 투표에 대한 및 히스토리에 대한 를 표시하십시오. 와 같은 "전문가"매개 변수 도 있다고 . 당신이 넣을 경우 다음 몇 가지 사전 -for 예는 베타 당신이 사용할 수 있어야 가지 우선 순위 베이 즈 정리에 대한 추론 다음 적분 로 계산 $A$ $V_i$ $i$ $H_i$ $\mu_i$ $\Pr(A=V_i) = \mu_i$ $\mu_i$ $\Pr(\mu_i \mid H_i)$ $\mu_i$

홍보 (ㅏ ∣ V_{나는}, H_{나는}) = \int_{μ_{나는}} 홍보 (ㅏ, μ_{나는} ∣ ㅏ_{나는}, H_{나는}) 디 μ_{나는}

$\Pr(A \mid V_i, H_i) = \int_{\mu_i} \Pr(A, \mu_i \mid A_i, H_i)~ \mathrm{d}\mu_i$

이러한 시스템은 해결하기가 어렵습니다. EM 알고리즘을 근사치로 사용하거나 완전한 우도 최대화 체계를 사용하여 정확한 베이지안 추론을 수행 할 수 있습니다.

이 작업을 해결하기위한 자세한 알고리즘은 크라우드 소싱 , Liu, Peng 및 Ihler 2012 ( 어제 NIPS! )에 대한 변형 추론을 살펴보십시오 .

— 에밀
소스

답변 주셔서 감사합니다. 좀 더 구체적으로 말씀해 주시겠습니까? 특히 전문 지식의 의미는 무엇입니까? 그 사람이 올바르게 대답 할 가능성이 높다면, 우리는 이미 이전 답변의 평균으로 추정치를 가지고 있으므로 잠복하지 않습니다. 전문 지식이 추정치에 대한 평균과 신뢰를 모두 포함한다는 것을 의미한다면 어떻게 확률을 전파하여 전문 지식과 결과를 얻을 수 있습니까?

— ffriend

예,이 "전문가"변수와 베이지안 추론을 사용하여 평균과 신뢰도를 모두 나타낼 수 있습니다. 몇 가지 설명과 답변에 대한 참조를 추가했습니다. 희망이 도움이됩니다!

— Emile