미국 선거 결과 2016 : 예측 모델에 어떤 문제가 있었습니까?


108

먼저 그것은 미국 선거인 Brexit 이었다 . 많은 모델 예측이 크게 한계에 이르렀으며 여기서 배울 교훈이 있습니까? 어제 오후 4시 (PST)까지 베팅 시장은 여전히 ​​힐러리 4 대 1을 선호했습니다.

나는 실제 돈을 가지고 베팅 시장이 모든 가능한 예측 모델의 앙상블 역할을해야한다고 생각합니다. 따라서 이러한 모델이 잘 작동하지 않았다고 말할 수는 없습니다.

유권자들이 자신을 트럼프 지지자라고 밝히고 싶지 않다는 한 가지 설명이있었습니다. 모델이 어떻게 그런 효과를 통합 할 수 있습니까?

내가 읽은 거시적 설명은 포퓰리즘 의 부상이다 . 문제는 통계 모델이 어떻게 이와 같은 거시적 경향을 포착 할 수 있는가하는 것입니다.

이 예측 모델이 여론 조사와 감정에 대한 데이터에 너무 많은 비중을 두는가, 100 년 동안 국가가 서있는 곳에서 충분하지 않은가? 친구의 의견을 인용하고 있습니다.


9
"자신을 트럼프 지지자로 밝히기를 꺼려하는"추정 방법 효과 : 포커스 그룹일까요? 이것은 통계 그 자체보다 사회 과학 문제에 가깝습니다.
kjetil b halvorsen

100
발생하지 않은 결과를 예측했기 때문에 모델이 왜 틀려 야합니까? 나는 주사위가 6을 보여주지 않을 것이라고 말하는 모델을 가지고 있지만 때로는 6을 보여줍니다.
dsaxton

4
모델이 실제로 잘못된쪽으로 크게 기울어 져 있는지 확실하지 않습니다. 모델의 출력값을 정확하게 읽었습니까? 나는 또한 dsaxton의 의견에 동의합니다.
Richard Hardy

7
Andrew Gelman의 블로그에 대한 좋은 생각이 있습니다 .
Richard Hardy

22
배당률이 4 : 1 인 경우 덜 일반적인 결과가 여전히 자주 발생합니다. 그것은 베팅 시장이 옳았을 수 있다는 것입니다.
gung

답변:


57

간단히 말해서 폴링이 항상 쉬운 것은 아닙니다. 이 선거는 가장 힘들었을 것입니다.

모든 우리가 통계적 추론을하려고하는 시간은, 근본적인 문제는 우리의 샘플 관심의 인구의 좋은 표현입니다 여부입니다. 많은 유형의 통계적 추론에 필요한 전형적인 가정은 표본이 관심있는 모집단에서 완전히 임의의 표본이된다는 가정입니다 (그리고 종종 독립된 표본도 필요함). 이러한 가정이 적용되는 경우 통계적 이론을 바탕으로 불확실성을 측정하는 것이 일반적입니다.

그러나 우리 는 이러한 가정들이 여론 조사와 맞지 않다는 것을 확실히 알지 못한다 ! 관심있는 인구의 샘플 은 정확히 0 개입니다. 선거 당일 실제 투표 수. 이 경우 데이터에 대해 더 이상 테스트 할 수없는 가정이 없으면 어떠한 유효한 추론도 할 수 없습니다 . 또는 적어도 선거일 이후까지는 테스트 할 수 없습니다.

우리는 완전히 포기하고 "50 % -50 %!"라고 말합니까? 일반적으로 아닙니다. 우리는 투표가 어떻게 진행될 것인지에 대한 합리적인 가정이라고 생각할 수 있습니다. 예를 들어, 여론 조사는 선거 당일 투표에 대한 편견없는 추정치와 일부 편견없는 일시적 소음 (즉, 시간이 지남에 따라 여론의 진화)을 믿기를 원할 수 있습니다. 폴링 방법에 대한 전문가는 아니지만 이것이 538 모델의 유형이라고 생각합니다. 그리고 2012 년에는 꽤 잘 작동했습니다. 따라서 이러한 가정은 아마도 합리적이었습니다. 불행히도, 엄밀한 질적 추론 외에는 이러한 가정을 평가하는 실제 방법이 없습니다. 유사한 주제에 대한 자세한 내용은 무시할 수없는 누락 문제를 참조하십시오.

2016 년 여론 조사가 왜 그렇게 열악한 지에 대한 나의 이론 : 여론 조사는 유권자의 하루 행동에 대한 편견 이 아니라 즉, 트럼프 지지자 (및 아마도 Brexit 지지자)도 훨씬 더 불신자라고 생각합니다. 트럼프 대통령은 적극적으로 여론 조사를 비난했다는 것을 기억하십시오. 따라서 나는 트럼프 지지자들이 반대자들의 지지자들보다 투표 의도를 투표소에보고 할 가능성이 적다고 생각한다. 나는 이것이 여론 조사에서 예상치 못한 큰 편견을 일으킨 것으로 추측합니다.

설문 조사 데이터를 사용할 때 분석가는이를 어떻게 설명 할 수 있습니까? 설문 조사 데이터만으로는이를 정량적으로 수행 할 수있는 실제 방법이 없습니다. 설문 조사 데이터에는 참여하지 않은 사람들에 대한 정보가 없습니다. 그러나 설문 조사 데이터와 선거일 행동 간의 관계에 대해보다 합리적이지만 (테스트 할 수없는) 가정을 선택함으로써 설문 조사를 질적으로 개선 할 수 있습니다. 이것은 사소하지 않고 좋은 여론 조사자가 되기에는 정말로 어려운 부분입니다 (주 : 저는 여론 조사관이 아닙니다). 또한 결과는 전문가들에게도 놀랍습니다. 따라서 이번에 가정이 크게 벗어났다는 명백한 징후는 없었습니다.

폴링은 어려울 수 있습니다.


1
@ horaceT : 관심있는 인구의 샘플을 얻을 때까지 편견이 있음을 어떻게 알 수 있습니까? 여기서 주름 중 하나는 역사적 으로이 문제가 편향 대신 소음 중 하나라고 생각합니다 . 두 당사자가 동일한 수준의 비 응답 수준을 갖는 경우 추정치는 약간 더 시끄 럽습니다. 그러나 트럼프 대통령은 이전 선거보다 언론 보도와 여론 조사에 대한 부정적 견해로 캠페인을 진행 한 이후 비 응답은 트럼프 표결을 대표하는쪽으로 쉽게 치명적일 수있었습니다. 이것은 여론 조사자들에게 미칠 영향 일 것입니다 ...
Cliff AB

38
그 가치가 있다고하더라도 여전히 538이 실제로 실패했다고 생각하지 않습니다. 그것은 트럼프 승리에 ~ 30 %의 확률 (?)을주었습니다. 이것은 꽤 좋은 결과입니다-그것은 예상대로 2-3 번마다, 1 번 잘못 될 것으로 예상됩니다. 그것은 다른 여론 조사보다 훨씬 많은 양의 불확실성입니다.
Mehrdad

3
이 효과는 잘 알려져 있습니다. 미국에서는 Bradley 효과, 영국에서는 Shy Tory 효과라고합니다.
Emilio Pisanty

15
538 (및 Sam Wang의 PEC와 같은 다른 것들)은 여론 조사가 아닙니다. 설문 조사 결과로 구성된 모델입니다. 이 모든 모델은 기본적으로 동일한 데이터로 시작되었지만 538은 Nate Silver가 선거 전 광범위하게 논의한 이유 때문에 결과에서 훨씬 더 많은 불확실성을 예측했습니다. 이것은 같은 투표를 사용하더라도 Hillary 승리의 538 확률이 훨씬 낮음을 의미했습니다. 나는 538이 실패하지 않았다는 것에 동의한다. 입력이 주어 졌을 때, 많은 불확실성을 가진 Hillary 승리는 가늠자에서도 최고의 예측처럼 보인다.
KAI

6
나는 선거가 끝난 다음날 아침 538 번의 최종 예측을 읽었 으며, Nate Silver는 3 %의 오차 한계가 일반적인 범위에있을 것이라고 분명히 밝혔습니다. 그의 3 %의 오차 한계 차트를 보면 트럼프의 호의에 따르면 실제로 일어난 일과 꽤 잘 어울립니다.
Xiong Chiamiov

35

여러 가지 폴링 오류 원인이 있습니다.

  • 어떤 사람들은 손이 닿지 않습니다

    인구 통계 분석을 수행 한 다음 샘플링 편향을 수정하여이를 해결합니다. 인구 통계 학적 분석에 사람들이 접근하기 어려운 것들이 반영되어 있지 않은 경우이 수정은 손상을 복구하지 않습니다.

  • 사람들은 거짓말

    사람들이 모델에 영향을 미치기 위해 설문 조사에 거짓말 한 과거 비율을 사용할 수 있습니다. 예를 들어, 역사적으로 사람들은 선거 당일보다 제 3 자 투표를 훨씬 더 많이 할 것이라고 말합니다. 여기서 수정 한 내용이 잘못되었을 수 있습니다.

    이 거짓말들은 다른 교정을 망칠 수도 있습니다. 그들이 마지막 선거에서 투표에 대해 거짓말을하는 경우, 예를 들어 투표에 참여하지 않더라도 유권자로 간주 될 수 있습니다.

  • 투표를 한 사람들 만 계산

    누군가는 많은 지원을받을 수 있지만, 선거일에 지지자가 나타나지 않으면 계산에 포함되지 않습니다. 이것이 유권자, 유권자 등을 등록한 이유입니다. 이러한 모델이 잘못되면 작동하지 않습니다.

  • 폴링 비용 돈

    여론 조사는 비용이 많이 들고, 미시간이 뒤집 히기를 기대하지 않는다면 자주 투표하지 않을 수 있습니다. 선거일 3 주 전에 투표를 한 주가 어디에 투표를했는지 놀라게 될 수 있습니다.

  • 사람들은 마음을 바꾼다

    몇 분, 몇 시간, 몇 일, 몇 주 또는 몇 달에 걸쳐 사람들은 마음을 바꿉니다. "지금하고 싶은 일"에 대한 설문 조사는 마음이 바뀌기 전에 마음이 바뀌면 도움이되지 않습니다. 사람들이 역사적 여론 조사에 따라 마음을 바꾸는 비율을 대략 추측하는 모델이 있습니다.

  • 방목

    다른 사람들이 Hillary가 +3이라고 말하고 Hillary +11 또는 Donald +1을 보여주는 설문 조사를 받으면 질문 할 수 있습니다. 다른 통과를 수행하고 분석 실패가 있는지 확인할 수 있습니다. 당신은 그것을 버리고 다른 여론 조사를 할 수도 있습니다. Hillary +2 또는 +4 설문 조사를 받으면 그렇지 않을 수 있습니다. 통계 모델이 때때로 발생한다고하더라도 대량의 특이 치는 "나쁘게"보일 수 있습니다.

    선거일 에 투표소를 공개 한 모든 사람들 이 마술처럼 같은 가치로 수렴 한 상황에서 특히 엉뚱한 모습이 일어났다 . 그들은 아마도 이상 치가 여론 조사를하는 곳일 것입니다. 그러나 아무도이 선거 전날 힐러리 +11을 말한 사람이되기를 원하지 않습니다. 무리가 잘못되면 덜 아프게됩니다.

  • 예상 샘플링 오류

    100 만 명의 사람들이 있고 100 명의 완벽하게 임의의 사람들에게 물어 보면 절반은 "애플", 절반은 "오렌지"라고 말하면 위의 문제 중 아무 것도 없더라도 샘플링에서 얻을 수있는 예상 오차는 +/- 10 정도입니다 나오다. 이 마지막 비트는 설문 조사 가 오류 한계로 설명하는 입니다. 설문 조사는 위의 수정 요인이 오류로 도입 할 수있는 것을 거의 설명하지 않습니다.


538의 Nate Silver는 위와 같은 종류의 오류 가능성을 처리하기 위해 보수적 인 (신중한) 수단을 사용한 소수의 폴링 어 그리 게이터 중 하나였습니다. 그는 폴링 모델에서 체계적인 상관 오류의 가능성을 고려했습니다.

다른 어 그리 게이터는 HC가 선출 될 확률이 90 % 이상일 것으로 예상했지만 설문 조사가 도널드 승리의 "정상 폴링 오류"내에 있었기 때문에 Nate Silver는 70 %를 진술했습니다.

이는 원시 통계 샘플링 오류와 달리 모델 오류 의 과거 측정치입니다 . 모델과 모델에 대한 수정이 잘못된 경우 어떻게해야합니까?


사람들은 여전히 ​​숫자를 사용하고 있습니다. 그러나 예비 결과는이 모델의 상당 부분이 투표율 모델이라는 것을 나타냅니다. 도널드 지지자들은 설문 조사 모델 (및 출구 설문 조사!)보다 많은 수의 설문 조사를, 힐러리 지지자들은 더 적은 숫자로 나타났습니다.

라틴계는 예상보다 도널드에게 더 많은 투표를했습니다. 흑인들은 예상보다 도널드에게 더 많은 투표를했습니다. (둘 다 Hillary에 투표했습니다). 백인 여성은 예상보다 도널드에 더 많은 투표를했습니다 (그들 중 많은 이들이 힐러리보다 도널드에 투표했습니다.

유권자 투표율은 일반적으로 낮았습니다. 투표율이 높을수록 민주당이 승리하는 경향이 있고, 투표율이 낮 으면 공화당이 승리합니다.


1
흥미로운 투표율 문제는 설문 조사 자체가 투표율에 영향을 미친다는 것입니다. 이를위한 투표 모델이 있습니까? 설문 조사에서 예상되는 투표율을 취하고 후보 전망에 따라 양쪽에 맞게 수정하는 기능이 가능해야합니다. 여론 조사 결과가 훨씬 뒤 떨어진 후보는 여론 조사에서 후보의 전망을 끔찍한 것으로 묘사 한 후 더 많은 유권자들을 얻지 못할 수도 있지만, 후보자가 훨씬 앞서 있다면 투표하기가 쉽지 않을 수도 있습니다. 선형 함수이지만 측정 가능해야합니다.
BenPen

2
무리를 언급하고 잘 설명해 주신 +1 님. 답을 살펴보면 538 그래프를 기준으로 5 일 정도 (선거 후 3 일)에 시작될 수 있습니다. 다가오는 날에 실제로 오류가 무엇인지에 대해 더 많이 알아낼 것입니다. (그래프에서 그래프 곡선의 2 차 미분을 고려하기 위해 웹 페이지를 강박 적으로 새로 고칠 때 당신은 괴상하다는 것을 알고 있습니다.)
TED

나는 당신이 그것을 어떻게 설명하는지 모르겠지만, 그의 실제지지를 제대로 정량화하기 어렵고 실제 선거 결과에만 나타날 트럼프와 관련된 낙인이 있다고 생각합니다. 나는 그것을 범퍼 스티커의 추론으로 생각하고 싶다. 조지 W. 부시와 오바마는 두 명의 임기 대통령이었다. 그러나 오바마 범퍼 스티커는 자부심을 가진 자동차에 널리 퍼져 있고 장식되어 있지만, 부시 범퍼 스티커는 4 잎 클로버와 같다. 개방형 지지대가 야당에서 너무 많은 열과 비 트리 올을 끌어 당기는 지지대가 있으며, 지지대가 매우 중요합니다.
coburne

3
@coburne 1 차에는 그 증거가 없었다. 부끄러워하지 않는 서포터를 트럼프하십시오. 오바마 범퍼 스티커와 다른 지역에서 인기있는 부시 범퍼 스티커.
Yakk

@coburne-당신이 말하는 것은 브래들리 효과 입니다. 그것이 존재하는지 여부에 대한 큰 논쟁이 있습니다. 그러나 그 운동의 힘이 인종 차별적 수사에 얼마나 많이 사용되는지에 비례하는 것으로 밝혀진 한 연구가 있었다. 나는 이것에 많은 것들이 사용되었다는 많은 논쟁이 있다고 생각하지 않습니다.
TED

31

이것은 받아 들인 대답에 대한 의견 ( Mehrdad에 대한 팁 ) 에서 언급 되었지만 강조해야한다고 생각합니다. 538은 실제로 아주 잘이주기를 이런 짓을 * .

538은 각 주에 대해 모델을 실행하여 승자를 예측하는 폴링 수집기입니다. 그들의 마지막 경기는 트럼프에게 약 30 %의 승리 확률을 주었다. 즉, 이와 같은 데이터로 세 번의 선거를 실시했다면, 팀 레드가 그 중 하나를 이길 것으로 예상됩니다. 그다지 작은 기회는 아닙니다. 그것은 확실히 예방 조치를 취할 정도로 충분히 큰 것입니다 (예 : 늦은 밤이 될 정도로 가까이에있을 가능성을 고려하여 직장에서 9 일 수요일을 요청하기 전 금요일).

만약 당신이 행 아웃을한다면 538은 당신이 여론 조사가 꺼져 있다면 그것들이 모두 같은 방향으로 떨어져있을 가능성이 높다는 것을 알려줄 것입니다. 이것은 몇 가지 이유 때문입니다.

  • 유권자 모델 일 수 있습니다. 여론 조사는 실제로 선거 당일에 나타날 유권자 유형에 따라 조정해야합니다. 우리는 역사적 모델을 가지고 있지만 이것은 분명히 전형적인 후보가 아니 었으므로 과거 데이터를 기반으로 예측하는 것은 항상 약간의 골치 아픈 일이었습니다.
  • 늦은 선거 방목 . 선거를 최악의 원인으로 만든 여론 조사를하고 싶은 사람은 아무도 없습니다. 따라서 캠페인 중간에 이상 치가되는 것은 마음에 들지 않지만 결국 모든 설문 조사는 동일한 내용을 말하도록 스스로 조정하는 경향이 있습니다. 이것은 2014 년 에릭 칸토르 (Eric Cantor)의 깜짝 상실로 인해 여론 조사가 엄청나게 꺼졌다는 점과 2014 년 버지니아 상원 (Virginia Senate) 경주 의 놀라 울 정도로 가까운 결과 로 인해 비난받은 것들 중 하나입니다 .

* -538은 이제 자체 분석을 게시 했습니다 . 위에서 언급 한 내용과 주로 관련이 있지만 더 자세한 내용을 원한다면 읽을 가치가 있습니다.


이제 약간의 개인적인 추측. 나는 실제로 지난 3 일 동안 538의 최종 % 기회에 회의적이었습니다. 그 이유는 위의 두 번째 글 머리 기호로 돌아갑니다. 이 선거에 대한 그들의 모델의 역사를 (웹 사이트에서) 살펴 보자

여기에 이미지 설명을 입력하십시오

(슬프게도, 라벨이 모호하지만, 지난 3 일 동안 커브가 다시 클린턴에 대한 70 % 이상의 확률로 분기되었습니다)

여기서 볼 수있는 패턴은 반복되는 발산과 트럼프 리드를 향한 쇠퇴입니다. 클린턴 버블은 모두 사건으로 인해 발생했습니다. 첫 번째는 컨벤션이었습니다 (일반적으로 폴링에 표시되기 시작한 이벤트 후 며칠이 걸립니다). 두 번째는 첫 번째 토론에 의해 시작된 것으로 보이며 TMZ 테이프가 도움을 줄 수 있습니다. 그런 다음 그림에 표시 한 세 번째 변곡점이 있습니다.

선거 3 일 전인 11 월 5 일에 일어났다. 어떤 사건이 발생 했습니까? 며칠 전에는 또 다른 이메일이 발생했지만 클린턴의 호의로 효과가 없었을 것입니다.

당시 내가 생각해 낼 수 있었던 가장 좋은 설명은 여론 조사였습니다. 선거까지 3 일, 최종 여론 조사까지 2 일이 걸렸으며 여론 조사원들은 최종 결과에 대해 걱정하기 시작했습니다. 이 전체 선거의 "통상적 인 지혜"(베팅 모델에 의해 입증 된)는 클린턴의 승리였습니다. 그래서 이것이 진정한 변곡이 아니었을 가능성이 분명해 보였다. 이 경우 11 월 5 일부터 의 진정한 곡선은 수렴을 향한 지속적인 곡선 일 것입니다.

이 의심스러운 최종 변곡점이 없으면 곡선을 앞으로 예측하는 것이 나보다 나은 수학자가 필요하지만, 11 월 8 일이 교차점 근처에 있었을 것이라고 생각 합니다 . 앞뒤는 실제 곡선의 양에 달려 있습니다.

이제 이것이 일어난 일이라고 확신 할 수 없습니다. 다른 매우 그럴듯한 설명이 있습니다 (예 : 트럼프는 유권자들이 예상 한 투표자보다 훨씬 더 나은 결과를 얻었습니다). 그러나 당시의 상황에 대한 나의 이론이었고, 그것은 분명하게 예측되었습니다.


1
지난 며칠 동안이 이상한 여론 조사가 더 잘 분석되었을 것이라고 생각하지만, 클린턴 지지자들은 그들이보고 싶은 것을 보았고, 트럼프 지지자들은 여론 조사에주의를 기울인 지 오래되었습니다. 누군가가 지금 그것을 할 수 있기를 바랍니다.
TED

나는 새로운 이메일이 새로운 형사 조사의 원인 이 되지 않았다는 Comey의 진술 때문에 마지막 날이 약간 정상화되었다고 생각 했다.
Konrad Rudolph

@ KonradRudolph-그 당시 그 변곡에 대해 들었던 설명이었습니다. 문제는 11 월 6 일까지 문제의 진술이 나오지 않았으며 의심스러운 투표 변곡점 이 하루 전에 일어났다 는 것입니다 (위 그림의 마커 참조). 또한, 타이밍이 코미에 의해 완전히 설명되고 있기 때문에 타이밍이 잘못되었으므로 그의 "마음이없는"진술이 그 말을 멈추게 한 논리적 인 이유는 없다 (훨씬 덜 돌렸다).
TED

2
538의 문제는 그것으로 들어간 폴링 데이터의 품질만큼 모델이 아닙니다. 데이터는 이것이 샘플링 오류의 경우가 아님을 명확하게합니다 (각각의 샘플 크기가 적절한 폴링을 평균 할 때는 상당히 작습니다). washparkprophet.blogspot.com/2016/11/what-polls-got-wrong.html 대신, 문제는 여론 조사에서 사자가 차지하는 비율이 편향되어 있거나 여론 조사원 의 체계적인 진실성 (트럼프의 사회적 비 승인으로 인해)이거나 양자 모두. 그러나 538은 서로 다른 주에서의 여론 조사가 독립적이지 않다는 모델을 인정하여 명성을 얻었습니다.
ohwilleke 1

@ohwilleke-맞습니다. 다른 답변 중 하나가 말했듯이 GIGO. 그것이 내가 설명 할 수없는 이상한 변곡점에서 일어나고 있었을 것입니다. 질문은 입력 설문에서 "쓰레기"의 원천입니다.
TED

17

처음은 브렉 시트 였는데, 이제 미국 선거

예를 들어 프랑스 대통령 선거 와 같은 첫 번째 사례는 아니었다 .

따라서 이러한 모델이 잘 작동하지 않았다고 말할 수는 없습니다.

쓰레기, 쓰레기

나는 유권자들이 자신을 트럼프 지지자라고 밝히고 싶지 않다는 한 가지 설명을 보았다. 모델이 어떻게 그런 효과를 통합 할 수 있습니까?

응답 편향 , 특히 사회적 바람직 성 편향을 참조하십시오 . 다른 흥미로운 읽을 거리 : 조용한 다수브래들리 효과 .


2
물론 쓰레기는 쓰레기입니다. 그러나 예측 변수가 쓰레기라는 것을 어떻게 인식하고 그것들을 타기 위해 "가변 선택"을 하는가?
horaceT

6
보시다시피 @horaceT, 이것은 매우 어렵고 때로는 불가능할 수도 있습니다. FiveThirtyEight.com 은 다양한 데이터를 사용하고 다중 바이어스를 수정하여 매우 적절한 방법론과 고품질 모델을 보유했습니다. 선거 전날 힐러리 클린턴이 승리 할 확률은 71.4 %였다.
Tim

1
@horaceT 나는 데이터 수집에 중점을 두었습니다. 그것이 문제인 것 같습니다. 사회적 선호 편견 페이지에는이를 개선하기위한 몇 가지 아이디어가 포함되어 있습니다.
Franck Dernoncourt

1
또한 @horaceT, 거의 모든 수영장에서 클린턴이 미친 사람만을 이끌었다 고 말하면 모든 사람들이 잘못되었다고 주장 할 것입니다 ... 그러한 모델을 정당화하는 것은 매우 어려울 것입니다.

1
유권자 투표율에 대한 여론 조사의 예측이 얼마나 정확한지 알고 싶습니다 (예 : 인구 통계 기준). 많은 설문 조사에서 "유의 한 납"을 예측하는 경우 투표율이 억제 될 수 있다고 생각할 수 있습니다 (예 : 관찰자 효과 와 유사 )?
GeoMatt22

12

USC / LA Times 설문 조사에는 정확한 숫자가 있습니다. 그들은 트럼프가 주도권을 가질 것으로 예상했다. 참조 트럼프 지원의 물결을 다음 USC / LA 타임스 여론 조사가 다른 조사 놓친 것을 보았다

http://www.latimes.com/politics/la-na-pol-usc-latimes-poll-20161108-story.html

여기에 이미지 설명을 입력하십시오

2012 년에도 정확한 수치를 보였습니다.

다음을 검토 할 수 있습니다. http://graphics.latimes.com/usc-presidential-poll-dashboard/

그리고 NY Times는 가중치에 대해 불평했습니다 : http://www.nytimes.com/2016/10/13/upshot/how-one-19-year-old-illinois-man-is-distorting-national-polling-averages. html

LA Times의 답변 : http://www.latimes.com/politics/la-na-pol-daybreak-poll-questions-20161013-snap-story.html


26
이 여론 조사에서 트럼프가 인기 투표에서 3.2 % 승리했지만 클린턴은 0.1 % 승리 한 것으로 보입니다. 그래서 나는 그들이 정확한 숫자를 가지고 있다고 어떻게 말할 수 있는지 모르겠습니다.
Winston Ewert

3
그냥 약간의 메모 - 당신은 정말 기대하는 모든 통계는 오류 창 미만 3.2 % 이내로?
AnoE

9
예를 들어이 설문 조사의 문제는 1) 잘못된 설문 조사입니다. 대중 투표는 회장단 승리와 관련이 있지만 그렇게 결정된 것은 아닙니다. 2) 최상위 항목이 잘못되었습니다 . 클린턴은 트럼프가 아니라 측정 대상에서 이겼습니다. 3) 다른 여론 조사의 대부분은 다른 방향으로 똑같은 3 점으로 끝났다.
TED

5
... 실제로, 클린턴이 대중 투표에서 트럼프보다 한 발 앞서 나아갈 것으로 보입니다. 이는이 여론 조사가 3이 아니라 4가 아니라는 것을 의미합니다. 이 것 보다 2 배 더 정확 했습니다 (4가 아닌 2 포인트 만 꺼짐).
TED

8
LA 타임스 여론 조사는 우연히 맞았다 : 19 세의 과체중은 과체중 백인 농촌 투표와 균형을 맞췄다.
Mark

11

여기에 높은 땅이 없다. 나는 당신이 지명 할 수있는 다른 사회 과학과 마찬가지로 의사 과학과도 비슷한 분야 (모니터링 및 평가)에서 일합니다.

그러나 여기에 거래가 있습니다. 여론 조사는 미국 선거 예측이 너무 틀 렸기 때문에 오늘날 '위기'에 있다고 가정합니다. 사회 과학은 일반적으로 복제 가능성 '위기'를 가지고 있으며 2000 년 후반에 우리는 세계 금융 '위기'를 가지고 있었기 때문에 일부 실무자들은 서브 프라임 모기지 파생 상품이 유효한 형태의 재무 데이터라고 생각했습니다 (의심의 이익을 주면 ...).

그리고 우리는 모두 상관없이 실수합니다. 매일 저는 데이터 수집 접근법으로 사용 된 가장 의심스러운 연구자 구성을보고 결국 데이터 (준-소수점 척도부터 완전히 고정 된 반응 범주에 이르기까지)로 사용합니다. 극소수의 연구자들도 결과를 이해하기 전에 그러한 구성에 대한 개념적 프레임 워크가 필요하다는 것을 알고있는 것 같습니다. 마치 마치 시장의 '연구'접근법을 살펴 보았고 약간의 수비학을 추가하여 최악의 실수 만 채택하기로 결정했습니다.

우리는 '과학자'로 간주되기를 원하지만, 엄격함은 다루기가 너무 어려워서 쓰레기 데이터를 수집하고 GIGO 공리를 마술처럼 무시하기 위해 Loki와 같은 통계의 신에게기도합니다.

그러나 페인 만 씨는 다음과 같이 지적했다.

“이론이 얼마나 아름다운지, 당신이 얼마나 똑똑한지는 중요하지 않습니다. 실험에 동의하지 않으면 잘못되었습니다.”

우리가 자주 사용하는 정 성적 데이터를 처리하는 더 좋은 방법이 있지만 조금 더 많은 작업이 필요하고 훌륭한 연구원 구성이 종종 SPSS에 더 쉽게 공급 될 수 있습니다. 편의성은 항상 과학보다 우월한 것 같습니다 (말장난 의도는 없음).

요컨대, 원시 데이터 품질에 대해 진지하게 생각하지 않으면 우리 자신을 포함하여 모든 사람의 시간과 돈을 낭비하고 있다고 생각합니다. 따라서 누구나 사회 과학 방법과 관련하여 '데이터 품질 이니셔티브'에 대해 공동 작업하기를 원합니다 (예, 그러한 것들에 대한 교과서가 많이 있지만 시험 후에는 그 출처에 관심을 기울이지 않는 것 같습니다).

가장 학문적 인 그 라비타를 가진 사람은 누구나 주도자가됩니다! (나 아니야)

여기에 대한 대답을 분명히하기 위해 : 원시 데이터 유형에 대한 '원인'과 관련된 심각한 근본적인 문제가 너무 자주 보이므로 처음부터 시작할 필요가 있음을 제안하고 싶습니다. 따라서 샘플링 또는 데이터에서 실행할 테스트에 대해 걱정하기 전에 제안하는 모델과 관련하여 수집하는 데이터 유형의 유효성 / 제한을 살펴 봐야합니다. 그렇지 않으면 전체 예측 모델이 불완전하게 정의됩니다.


2
멀리 떨어진 곳에서 나는 의심스러운 연구원 구조의 예를 들어 줄 수 있다고 확신합니다.
horaceT

4
나는 당신의 많은 주장에 반드시 동의하지는 않습니다. 그러나 폴링의 경우 모든 폴러가 데이터 품질로 인한 제한 사항을 극도로 인식하고 있지만 실제로 개선 할 수있는 옵션이 없다고 생각합니다 (내 답변 참조). 당신의 대답에이 여론 조사는 밀어 원하는 것을 제안 보인다 어떤 되지 배려의 모든 데이터 품질에 대한 답을. 나는 여론 조사는 신경 생각 많은 데이터 품질에 대한,하지만 또한 그들이 얻을 수있는 가장 심각한 잠재적 인 결함을 가지고 있음을 알고 있습니다. 포기하거나 ( "50 % -50 %!") 합리적 수 있는 것을 만들려고 합니까?
Cliff AB

댓글에 대한 나의 답변은 필연적으로 조금 길었으므로 새로운 답변으로 추가되었습니다
colin

9

설문 조사는 5 %의 오류 마진을 갖는 경향이 있습니다.이 오류는 무작위 오류가 아니라 편견이기 때문에 실제로 제거 할 수 없습니다. 많은 설문 조사에서 평균을 내더라도 훨씬 나아지지는 않습니다. 이것은 잘못 표명 된 유권자 그룹, 동원 부족, 근무일에 투표에 참석할 수 없음, 대답 의지 없음, 정답에 대한 대답하지 않음 , 자발적인 마지막 순간 결정과 관련이 있습니다. 여론 조사에서 더 많은 여론 조사로 제거 할 수는 없습니다. 더 큰 샘플 크기로 제거 할 수도 없습니다. 이 편견은 너무 빨리 변하기 때문에 (그리고 우리는 대통령을 너무 드물게 선출하기 때문에)이 편견을 예측할 수없는 것처럼 보입니다.

거의 모든 주에 여전히 존재하는 어리석은 승자 모두의 원칙으로 인해 5 %의 오차는 매우 다른 결과를 초래할 있습니다. 단 2 %), 결과는 100 % 할인됩니다. 당첨자 수배로 인해

개별 상태를 보면 대부분의 결과가 예상 오차 한계 내에 있습니다!

아마도 당신이 할 수있는 최선의 방법은이 편견을 샘플링하고 (+ -5 %), 승자 추첨을 모두 적용한 다음 결과를 집계하는 것입니다. 이것은 아마도 538이 한 것과 비슷할 것입니다. 도널드 트럼프가이긴 샘플의 30 %에서 ...


9
나는 이것을 설문 조사 의 "미치광이 프린지 원리"라고 부른다. 모든 설문 조사 질문에서, 모든 응답자의 5 %가 미친 답을 줄 것이다. 다른 경험적 원칙과 마찬가지로 예외도 있지만 여론 조사 결과를 이해하는 데 도움이되는 수십 년 동안 잘 나타났습니다.
whuber

1
그것은 단지라면 단지 에 "미친"대답. 문제는 그것이 "무질서 미친"것이 아니라 체계적이라는 것이다. 선거를 이진 여론으로 간주 할 수 있으며 이진에서 어떤 "미친 답변"을 기대할 수 있습니까? 그러나 분명히 많은 사람들이 고의적으로 (?) 틀린 대답을하거나 실제로 부스에있을 때 다르게 결정하거나 선거에 가지 않으면 ...
Anony-Mousse

3
@ Anony-Mousse 얼마나 정확하든 그렇지 않든 청소년 이름 호출이 통계 분석과 어떤 관련이 있는지 알 수 없습니다.
Jared Smith

아, 그것은 귀중한 이야기입니다. 어떤 날에는 왜 예측 결과가 정확하지 않은지 걱정하기보다는 웃어야합니다.
Anony-Mousse

의견은 긴 토론을위한 것이 아닙니다. 이 대화는 채팅 으로 이동 되었습니다 .
gung

7

400,000

결국, 그것은 주제에 대한 지식의 부족을 보충하기위한 수치 분석의 막대한 실패를 노출시켰다. 사람들은 명백한 이유로 당첨 후보자를 명시 적으로 포용하는 것을 부끄러워했습니다.

최악의 컴퓨터 모델은 누군가가 직접 대면 설문 조사를 수행하고 문을 두드리는 것을 귀찮게했다면 결과에 더 근접했을 수 있습니다. 예를 들면 다음과 같습니다. 트라팔가 그룹 ( 다음에 나오는 것 이외의 제휴 또는 지식이 없음)은 트럼프가 선거 하루 전에 PA, FL, MI, GA, UT 및 NV (이 후자의 국가는 궁극적으로 파랗게 나갔습니다)를 이끌었습니다. 마술은 무엇입니까?

설문 응답자들이 표준 투표 시험과 응답자의 이웃이 서있는 투표 시험 안내 (sic) 모두에 대한 조합. 이는 기존의 여론 조사의 근본적인 편견을 다루며, 응답자들은 논란의 여지가 많은 후보에 대한 그들의 입장에 대해 전적으로 진실하지 않습니다.

맞춤법 검사 부족을 포함하여 매우 낮은 기술로, 인간 본성에 대해 많은 숫자를 보여줍니다. PA불일치 사항 은 다음과 같습니다 .

여기에 이미지 설명을 입력하십시오

역사적인 펜실베니아-2016 년 11 월 9 일 오전 1시 40 분에 폐막이 실현되기 몇 시간 전에 민주당 패배의 마지막 짚으로 인식되지 않았습니다.

여기에 이미지 설명을 입력하십시오


2
이웃의 투표 의도에 대해 묻는 것은 훌륭합니다. 통계에서 때때로 사용되는 영리한 트릭 중 하나 인 것 같습니다. 그것에 대해 매우 감사합니다!
DeltaIV

5

미국 선거에서 부정확 한 여론 조사의 이유 중 하나는 진실을 밝히지 않는 어떤 이유로 든“승자가 모든 것을 취한다”는 효과는 예측을 훨씬 더 쉽게 만든다는 것입니다. 한 상태에서 1 %의 차이로 인해 상태가 완전히 바뀌고 전체 결과에 큰 영향을 줄 수 있습니다. Hillary는 Al Gore vs Bush와 같이 더 많은 유권자가있었습니다.

Brexit 국민 투표는 정상적인 선거가 아니 었으므로 예측하기도 더 어려웠습니다 (역사적 자료가없고 모든 사람이이 문제에 대한 최초의 유권자 같았습니다). 같은 파티에 대해 수십 년 동안 투표 한 사람들은 예측을 안정화시킵니다.


2
아주 좋은 관찰. 각 측면과 스윙 상태에 명확한 상태가있었습니다. 그들의 수는 적었지만, 작은 변화에 대한 영향은 투표 수가 많다. 그것은 미국에서 매우 복잡하고 역사적으로 성장한 투표 제도입니다.
Trilarion

4

(다른 답변은 다른 모든 것을 다루었 으므로이 비트에 대답하십시오.)

어제 오후 4시 (PST)까지 베팅 시장은 여전히 ​​힐러리 4 대 1을 선호하고있었습니다. 실제 돈을 버는 베팅 시장은 사용 가능한 모든 예측 모델의 앙상블 역할을해야합니다.

아니요 .. 그러나 간접적으로 그렇습니다.

베팅 시장은 부킹 장이 무슨 일이 있어도 이익을 얻도록 설계되었습니다. 예를 들어 현재 인용 된 확률은 힐러리에서 1-4, 트럼프에서 3-1이라고합니다. 다음 10 사람들은 모두 내기 경우 $ 힐러리에 10, 그 $ 그들에게 대가를 치르게되어 촬영 100 $ 힐러리가 승리하면 25. 그래서 그들은 힐러리를 1-5로 줄이고 트럼프를 4-1로 올립니다. 더 많은 사람들이 이제 트럼프에 베팅하고 균형이 회복됩니다. 즉, 전문가 또는 예측 모델이 아닌 사람들이 베팅하는 방식을 기반으로합니다.

물론,이 책의 고객들은 그 여론 조사를보고, 그 전문가들을 듣고 있습니다. 그들은 힐러리가 3 % 앞서고 이길 수있는 죽은 증명서를 받고 10 달러 를 벌 수있는 빠른 방법 은 40 달러 를 베팅 하는 것이라고 들었 습니다.

간접적으로 전문가와 여론 조사는 확률을 움직입니다.

(일부 사람들은 직장에서 모든 친구들이 트럼프에 투표한다는 것을 알았으므로 베팅하십시오. 다른 사람들은 페이스 북 친구의 모든 게시물이 친한 친구임을 알았습니다. 그녀에게 베팅하십시오. 그래서 약간의 현실에 영향을 미칩니다 그런 식으로.)


2

모델이 액세스 할 수있는 정보와 폴링 부스에서 동작을 유발하는 정보 사이의 차이를 고려할 때 이러한 노력이 실패한 것은 놀라운 일이 아닙니다. 나는 추측하고 있지만 모델은 아마도 고려할 것이다.

  • 다양한 선거 전 투표 결과
  • 역사적 상태 예측 (파란색 / 빨간색)
  • 현 상태 예측 / 예상으로 선출 된 선거 결과

그러나 선거 전 여론 조사는 신뢰할 수 없으며 (과거에는 끊임없는 실패를 보았지만) 주가 뒤집어 질 수 있으며, 우리의 역사에서 발생할 수 있고 발생할 수있는 다양한 상황을 설명하기에 선거주기가 충분하지 않았습니다. .

또 다른 합병증은 선거 대학교와 대중 투표의 합류입니다. 이번 선거에서 보았 듯이 인기 투표는 한 주 내에서 매우 가까울 수 있지만 주가 이기면 모든 투표가 한 명의 후보에게 전달되므로지도가 너무 빨갛게 표시됩니다.


1

여론 조사에서는 실제 투표에 참여했을 때 얼마나 많은 자유당이 존슨에서 트럼프로 전환 할 수 있을지 고려하지 않았습니다 . 존슨이 얻은 투표의 비율에 따라 얇은 마진으로이긴 주들이 이겼습니다. 선거 당일 밤 트럼프를 270 회 돌파 한 PA는 존슨에게 2 % 만 주었다. 클린턴에 갔던 NH는 Johnson에게 4 % 이상을 주었다. 존슨은 선거 전날 4 % -5 %로 투표를하고 있었고, 선거 당일에는 대략 3 %를 얻었습니다.

그렇다면 왜 자유 주의자들이 갑자기 선거 당일에 전환했을까요? 자유주의 유권자들에게 가장 중요한 문제는 아무도 고려하지 않았습니다. 그들은 헌법에 대한 문자 적 ​​해석을 정식으로 보는 경향이있다. 클린턴에 투표 한 대부분의 사람들은 법에 대한 그녀의 해고가 고려해야 할 우선 순위라고 생각하지 않았습니다. 확실히, 그들이 트럼프에 대해 싫어했던 모든 것보다 높지는 않습니다.

그녀의 법적 문제가 다른 사람들에게 중요한지 아닌지에 관계없이, 그들은 자유 주의자에게 중요 할 것입니다. 그들은 법규 준수를 선택적인 것으로 간주하는 사람을 기각하는 것을 최우선으로 생각할 것입니다. 따라서 다수의 사람들에게 클린턴의 사직을 유지하는 것은 자유주의 철학이 실행 가능한 정치 철학이라는 진술보다 우선 순위가 높아질 것이다.

그들 중 많은 사람들이 트럼프를 좋아하지 않았을 지 모르지만, 그가 클린턴보다 법의 지배를 더 존중할 것이라고 생각한다면, 실용주의는 많은 사람들의 원칙을 이겼을 때 투표를하게 만들었을 것입니다 실제로 투표 할 시간이 왔습니다.


NH는 자유 주 프로젝트의 모든 사람들이 그곳에 살고 있습니다. 번성하는 자유당과 적극적인 지지자들.
John

@John, NH Libertarians는 Johnson (4 %)을 고수했습니다. 트럼프는 1 %의 상태를 잃었습니다.
Dmitry Rubanovich

나는 이해. NH에서 자유당이 강하다고 설명하려고했다.
John

@ 존, 그러나 그것은 단지 NH가 아닙니다. 미네소타 : 존슨 4 %, 트럼프 2 % 손실; NV (더 어려운 주장이지만 여전히 추세가 유지됨) : Johnson 3.5 %, 트럼프 2 % 감소; 메인 : 존슨 5 %, 트럼프 3 % 감소; 콜로라도 존슨 5 %, 트럼프 3 % 감소
Dmitry Rubanovich

Afaik, 여론 조사는 가능한 투표 전환에 대해 질문하고 예측은 그것을 고려합니다. 선거 전에 예측에 의해 고려되지 않은 그러한 정보가 있었거나 이것이 순수한 추측 이라는 것을 암시하는 정보가 있습니까?

1

여론 조사는 역사적인 추세가 아닙니다. 베이지안은 역사적 추세에 대해 문의 할 것입니다. 에이브 러햄 링컨 이후 공화당과 민주당이 대통령직을 맡고있다. Wikipedia 이후 16 번의 파티 변경 추세 는 다음과 같은 누적 질량 함수를 갖습니다.

여기에 이미지 설명을 입력하십시오

x

언론인, 민주당, 여론 조사원들은 자유 주의적 승리를지지 할 가능성이 희망적이라고 생각했다. 행동은 한계 내에서 예측 가능할 수 있지만,이 경우 민주당은 사람들이 변화에 투표하지 않기를 바랐으며, 역사적 관점에서는 그렇지 않은 것 같습니다.


0

유권자 인구 통계가 여론 조사 자 인구 통계와 유사하고 전체 인구를 잘 대표한다고 가정 할 때 여론 조사 결과는 일반인에게까지 외삽 된 것으로 생각합니다. 예를 들어, 여론 조사에서 소수의 10 개 중 7 개가 힐러리를지지하고 그 소수가 미국 인구의 30 %를 차지하는 경우, 대다수의 여론 조사에서 유권자의 30 %가 소수로 표시되고 21 %의 이득으로 해석됩니다 힐러리. 실제로 유권자들 사이에서 백인, 중상급 남성이 더 잘 대표되었습니다. 자격을 갖춘 사람들의 50 % 미만이 투표했으며 이는 모든 성별, 인종 등 50 % 할인으로 해석되지 않았습니다.

또는 여론 조사는 완벽한 무작위 배정을 가정하고 그 모델에 근거 해 모델을 작성했지만 실제로 유권자 데이터는 중상층 상위층 남성에게 편향되어있었습니다.

또는 여론 조사에서 완벽한 무작위 배정을 정확히 가정하지는 않았지만 외삽 매개 변수는 유권자 인구 통계의 이질성을 과소 평가했습니다.

ETA : 이전 두 선거의 여론 조사는 일반적으로 잘 대표되지 않는 단체들의 투표에 대한 관심이 높아졌기 때문에 더 잘 수행되었습니다.


내가 아는 한, 모든 여론 조사 결과는 '유권자'일 가능성이 높습니다. 저는 20 살짜리 여론 조사가 70 살짜리 투표와 같은 기회를 가졌다 고 가정합니다. 더 중심이 문제인 것 같습니다. 누군가 투표 할 가능성은 얼마나됩니까?
dimpol

인구 통계를 설명하는 것이 가장 쉬운 부분입니다. 표본 모집단을 실제 모집단에 다시 가중치를 부여하기 만하면됩니다. 그러나 유권자 투표율과 다른 답변에서 언급 된 편견을 설명하는 것은 훨씬 어렵다.
Graipher

여론 조사원이 이러한 문제를 해결하는 방법에는 상당한 차이가 있습니다. 일부는 파티 소속에 따라 인구 통계 학적으로 재조정 또는 재조정합니다. 그러나 폴링 평균을 사용하는 모델에 편차가 있기 때문에 최종 결과는 다른 설문과 공유하지 않는 방법 중 하나에 특히 문제가 있습니다. 폴링 작업. 평균 폴링 결과의 문제점은 각 폴링에 특정한 방법이 아니라 공유 된 방법 또는 효과에서 비롯되어야합니다.
ohwilleke

0

HoraceT와 CliffAB (댓글이 너무 길어서 죄송합니다) 나는 평생의 모범을 보았으며, 사람들을 화나게하지 않으려면 그들의 설명에 매우주의해야한다고 가르쳤다. 그래서 나는 당신의 방종을 원하지 않지만, 당신의 인내심을 요구합니다. 간다 :

극단적 인 예를 시작하기 위해 문맹 인 마을 농부들 (동남아시아)에게 '경제적 수익률'을 추정하도록 요청한 설문 조사 질문을 보았습니다. 응답 옵션을 제외하고 우리는 이것이 어리석은 일임을 알 수 있지만 어리석은 이유를 일관되게 설명하는 것은 쉽지 않습니다. 예, 우리는 응답자가 질문을 이해하지 못하고 의미 론적 문제로 기각하기 때문에 바보라고 말할 수 있습니다. 그러나 이것은 연구 맥락에서 실제로 충분하지 않습니다. 이 질문이 제안되었다는 사실은 연구원들이 '멍청한'것으로 간주하는 것에 내재 된 가변성이 있음을 의미합니다. 이를보다 객관적으로 다루기 위해, 우리는 그러한 것들에 대한 의사 결정을위한 관련 프레임 워크를 물러나서 투명하게 선언해야합니다. 많은 옵션이 있습니다.

따라서 분석에 사용할 수있는 두 가지 기본 정보 유형 (정 성적 및 정량적)이 있다고 가정합니다. 그리고이 둘은 모든 양적 정보가 정성적인 정보로 시작되었지만 다음과 같은 (과 단순화 된) 단계를 거치도록 변형 과정과 관련이 있습니다.

  1. 컨벤션 설정 (예 : 우리는 [개별적으로 인식하는 방법에 관계없이] 낮의 열린 하늘의 색을 "파란색"이라고 부르기로 결정했습니다.)
  2. 분류 (예 : 우리는이 규칙에 따라 방의 모든 것을 평가하고 모든 항목을 '파란색'또는 '파란색이 아닌'범주로 분리)
  3. 계산 (우리는 방에있는 파란색 물건의 '수량'을 계산 / 감지합니다)

1 단계가없는 (이 모델에서는) 품질과 같은 것은 없으며 1 단계로 시작하지 않으면 의미있는 수량을 생성 할 수 없습니다.

일단 언급하면,이 모든 것이 매우 명백해 보이지만, 가장 일반적으로 간과되어 '쓰레기 유입 (Garbage-In)'을 초래하는 것은 첫 번째 원칙들입니다.

따라서 위의 예에서 '어리 석음'은 연구원과 응답자 사이에 공통된 규칙을 설정하지 못하는 것으로 매우 명확하게 정의 할 수 있습니다. 물론 이것은 극단적 인 예이지만 훨씬 더 미묘한 실수는 가비지 생성과 동일 할 수 있습니다. 제가 본 또 다른 사례는 소말리아 농촌 지역의 농민들을 대상으로 한 설문 조사인데,“기후 변화가 당신의 생계에 어떤 영향을 미쳤습니까?”라고 물었습니다. 미국은 연구자와 응답자 사이의 공통된 협약 (즉, '기후 변화'로 측정되는 것에 관한)을 사용하지 않는 것이 심각하다.

이제 응답 옵션으로 넘어 갑시다. 응답자가 여러 선택 옵션 또는 유사한 구성으로 응답을 자체 코드화 할 수있게함으로써이 '협약'문제를 이러한 질문의 측면으로 추진하고 있습니다. 우리가 모두 반응 범주에서 '보편적 인'협약을 효과적으로 고수한다면 문제가되지 않을 수 있습니다 (예 : 질문 : 당신은 어느 도시에 살고 있습니까? 반응 범주 : 연구 지역에있는 모든 도시 목록 [그리고 '이 지역에 있지 않음']). 그러나 많은 연구자들은 실제로 자신의 요구를 충족시키기 위해 질문과 응답 범주의 미묘한 뉘앙스에 자부심을 갖고있는 것 같습니다. '경제 수익률'질문이 나타난 동일한 조사에서, 연구원은 응답자 (가난한 마을 사람들)에게 그들이 어떤 경제 부문에 기여했는지를 물었다 : '생산', '서비스', '제조'및 '마케팅'. 여기서도 질적 협약 문제가 분명히 발생합니다. 그러나 그는 응답을 상호 배타적으로 만들었 기 때문에 응답자는 한 가지 옵션 만 선택할 수 있었기 때문에 (“그러한 방식으로 SPSS에 공급하는 것이 더 쉽기 때문에”), 농부는 일상적으로 작물을 생산하고 노동을 판매하며 수공예품을 제조하고 모든 것을 가져갑니다. 현지 시장 자체에서이 특정 연구원은 응답자와 컨벤션 문제가있을뿐 아니라 현실 자체와도 관련이있었습니다.

그렇기 때문에 저와 같은 오래된 보어는 항상 데이터 수집 후 데이터에 코딩을 적용하는보다 작업 집약적 인 접근 방식을 권장합니다. 적어도 연구원이 개최하는 컨벤션에서 코더를 적절하게 훈련시킬 수 있습니다 (그리고 이러한 컨벤션을 ' 설문 조사 지침은 머그잔 게임입니다. 지금 당장 나를 믿으십시오). 또한 위의 '정보 모델'(다시 말해서 주장하지 않아도 됨)을 수락하면 준-구형 응답 스케일의 평판이 나쁜 이유도 나타냅니다. 그것은 스티븐의 협약에 따른 기본적인 수학 문제가 아닙니다 (즉, 서수에 대해서도 의미있는 원점을 정의해야하며 추가하거나 평균을 지정할 수없는 등). 또한 '정량화'에 해당하는 투명하게 선언되고 논리적으로 일관된 변환 프로세스를 거치지 않은 경우가 많습니다 (즉, '기본 수량'생성을 포함하는 위에서 사용 된 모델의 확장 된 버전입니다. [-어렵지는 않습니다. 할 것]). 어쨌든, 그것이 질적 또는 양적 정보가되기위한 요구 사항을 충족시키지 못하면, 연구원은 실제로 틀 밖에서 새로운 유형의 정보를 발견했다고 주장하고 있으며, 따라서 기본 개념을 완전히 설명 할 책임이있다. 즉, 새 프레임 워크를 투명하게 정의).

마지막으로 샘플링 문제를 살펴 보겠습니다 (이것은 이미 여기에있는 다른 답변과 일치한다고 생각합니다). 예를 들어, 연구원이 '자유'유권자를 구성하는 것에 대한 협약을 적용하려면 표본 추출 체제를 선택하는 데 사용하는 인구 통계 정보가이 협약과 일치하는지 확인해야합니다. 이 수준은 일반적으로 연구자 통제 범위에 속하기 때문에 가장 쉽게 식별하고 처리 할 수 ​​있으며 대부분 연구에서 투명하게 선언 된 가정 된 정 성적 규칙의 유형입니다. 이것이 또한 일반적으로 논의되거나 비판되는 수준 인 반면, 더 근본적인 문제는 해결되지 않습니다.

설문 조사자들은 '이 시점에서 누가 투표 할 계획입니까?'와 같은 질문을 고수하지만, 우리는 여전히 괜찮을 것입니다.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.