비논리적 설문 응답을 처리하는 방법

샘플 아티스트에게 설문 조사를 제출했습니다. 질문 중 하나는 예술 활동, 정부 지원, 개인 연금, 예술과 관련이없는 활동에 의해 도출 된 소득의 백분율을 나타내는 것이었다. 개인의 약 65 %가 백분율의 합이 100이라고 대답했습니다. 다른 사람은 그렇지 않습니다. 예를 들어, 자신의 예술 활동으로 인해 수입의 70 %와 소득 정부에서 60 %가 대답 한 사람이 있습니다. , 등등. 내 질문은 :이 관찰을 어떻게 처리해야합니까? 삭제, 수정 또는 보관해야합니까? 감사합니다!

이것은 감도 분석에 좋은 상황입니다. 세 가지 방법으로 데이터를 분석하십시오.

1. 그들은 그대로
2. "비논리적"을 배제한 후, 즉 백분율이 100 (또는 100 +/- 10)이되지 않는 사람들
3. 필요한 경우 각 개인의 백분율이 100을 더하도록 조정 한 후

그런 다음 결과를 비교하여 어떤 결과가 더 정확하거나 특정 측면에서 더 정확할 수 있는지에 대한 근거를 공유하십시오.

논리와 비논리가 다른 경우 다양한 방법을 조사 할 수도 있습니다. 비 논리학은 더 높은 소득을보고하는 경향이 있습니까? 특정 아이디어 나 프로그램에 대한 지원을 강화하려면? 더 많은 질문을 건너 뛰시겠습니까? 중간 응답이나 극단적 인 응답을 똑 바르게하거나 불균형 적으로 선택한다는 의미에서 더 많은 편견을 갖기 위해?

400이 illogicals에 대해, 당신은 충분한 데이터를 가지고와도 사이의 관계를 평가하는 정도 바이어스의 지정된 유형의 불합리와 정도를. 선량-응답 관계와 같은 것.

이러한 조사에서 배운 내용은 주요 관심 분석과 관련하여 비논리를 ​​다루기위한 계획으로 다시 전달 될 수 있습니다.

이미 여기 에서 언급했듯이 이러한 답변이 반드시 비논리적 인 것은 아닙니다. 예를 들어

예를 들어, 그들의 소득의 70 %가 자신의 예술적 활동에 의해 도출되고 60 %가 소득 정부 등에 의해 응답된다고 대답하는 사람들도 있습니다.

소득의 30 %가 정부를 위해 행해진 예술적 활동에서 나온다면 완벽하게 이해됩니다. 그런 다음 실제로 세 그룹이 있습니다.

• 정부와 무관 한 예술 활동 : 40 %.
• 예술 활동과 무관 한 정부 : 30 %.
• 정부가 보조하는 예술 활동 : 30 %.

이 숫자는 최대 100 %가됩니다.

다음 질문을 고려하십시오.

• 푸드 스탬프 정부 또는 활동이 예술과 관련이 없습니까?
• 사회 보장 정부입니까 아니면 연금입니까?
• 공무원 연금 (이전 공무원)은 개인 연금입니까?
• 정부는 그림 예술 활동이나 정부를 페인트 할 수 있습니까?
• 직업은 지역 학교 정부에서 예술을 가르치거나 예술 활동이나 예술과 관련이없는 활동입니까?
• 예술 직종에서 은퇴 한 경우 (교사 또는 상업, 예 : 기프트 카드 그리기), 연금은 사적인 활동입니까? 아니면 교육의 경우 정부인가?

이 카테고리들이 상호 배타적 인 것으로 원하는 것 같습니다. 그러나 모든 사람들이 그런 식으로 해석하지는 않을 것이라고 생각합니다. 이러한 활동을 어떻게 분류해야하는지에 대한 명확한 생각이있을 수 있지만 응답자가 응답 할 때 같은 부서를 염두에 둔 것이 확실하지 않습니다. 최소한 숫자를 100 %에 더하려면 사람들에게 말해야합니다.

개인적으로 이런 종류의 문제에 대한 최선의 접근 방식은 일종의 포커스 그룹을 수행하는 것입니다. 전통적인 설문 조사에서는 답변의 유효성을 검사하지 못할 수 있습니다. 설문 조사 대상이 될 사람들을 부르거나 방문하여 대화를 시작하십시오. 그런 다음 그들이 이해하지 못하는 대답을 할 때 그 이유를 물어보십시오. 그리고 그 이상으로, 원하는 결과를 얻을 수 있도록 질문을 어떻게해야했는지 물어보십시오. 이것은 대화식이라는 점에서 포커스 그룹과 비슷합니다.

그렇게하면 형식에 맞지 않는 응답을 처리하는 방법에 대한 더 나은 아이디어를 얻을 수 있습니다. 예를 들어, 30 % 추가를 취하고 각각에서 절반을 뺄 수 있습니다. 그러면 55 %의 예술적 활동과 45 %의 정부가있을 것입니다. 또는 개인 예술 활동 40 %, 정부 후원 예술 활동 30 % 및 기타 30 % (이 경우 푸드 스탬프 또는 임대료 지원과 같은 예술 활동과 무관 한 정부 지원)로 다시 분류 할 수 있습니다. 또는 사람들이 카테고리를 제대로 이해하지 못하기 때문에 설문 조사를 포기하고 다시 실행하십시오. 이 중 일부는 범주의 의미를 이해 한 것과 범주를 해석하는 방법에 따라 다릅니다.

지금은 너무 늦었지만 향후 설문 조사를 위해 설문 조사 전에 정기적으로 포커스 그룹을 만드는 것을 고려하십시오. 그런 다음 그룹 환경에서 질문을 테스트하고 개선 할 수 있습니다. 그룹으로부터 추가 질문을받을 수도 있습니다. 직접 수행하기가 너무 어려운 경우 온라인으로 작업하는 것을 고려하십시오. 또는 실제 설문 조사를하기 전에 전화로 개인적으로 전화로 테스트 설문 조사 (작은 수의 사람들, 후속 질문으로 응답 확인)를 수행하십시오. 이 중 하나라도 질문을 더 명확하게하는 데 도움이 될 수 있습니다.

예를 들어, 아마도 당신의 실제 범주는 예술 활동으로부터의 개인 소득 일 것입니다; 정부가 후원하는 예술 활동; 전직 개인 연금; 예술 활동과 관련이없는 기타 수입. 아니면 다른 것. 문제의 일부는 내가 원하는 것을 말할 수 없기 때문에 귀하의 응답자도 할 수 없다고 생각합니다. 세 가지 다른 해석이있는 경우 세 가지 다른 설문 조사의 응답을 혼합하는 것과 거의 같습니다.

비논리적 반응의 일반적인 경우에 대한 답변을 드릴 수 없습니다. 그러나 이러한 특정 유형의 질문에 대해서는 그랬습니다. 설문 조사뿐만 아니라 반 구조적 인터뷰에서도 사람들이 이런 종류의 답변을 얻는 방법을 관찰 할 수있는 기회를 얻었습니다. 이를 바탕으로인지 과정을 관찰하고 분석하는 일반적인 경험뿐만 아니라 데이터를 총 100 %로 정규화합니다 . 그 이유는 사람들이 먼저 가장 두드러진 범주로 이동하는 것 같습니다-귀하의 경우 가장 큰 소득이 될 것입니다-그 느낌을 백분율로 추정 한 다음 다음 작은 범주에 대한 생각을 시작하고 상대적인 추정치를 기반으로합니다. 첫 번째 카테고리의 앵커와 이미 언급 된 카테고리의 앵커.

예를 들어, 생각의 흐름은 다음과 같습니다. "저의 첫 번째 수입원은 확실히 절반 이상입니다. 60 %? 아니오, 너무 낮습니다. 65 %라고하겠습니다. 두 번째는 약 3 분의 1입니다. 그렇기 때문에 20 % 이상이 될 것입니다. 어쨌든 내 머리에서 계산하기 어려우면 25 %로 반올림하십시오. 세 번째는 첫 번째의 1/3과 같은 느낌이지만 실제로는 항상 두 번째로 30 %가되어야합니까 아니면 35도 아니겠습니까? 아뇨, 30으로 가겠습니다. 오, 그리고 네 번째 출처가 있다는 것을 잊었습니다. 일년에 한 번만 발생하며 다른 것보다 실제로 작아야합니다. 5 또는 10 %? Probabaly 5는 더 가깝습니다. 그래서 당신은 65 + 25 + 30 + 5 = 125 %의 대답으로 끝납니다.

사람들은 각 부분보다 총 소득 부분의 상대적 크기를 더 잘 알고있는 경향이 있기 때문에 소득에 대한 수치 분석을 원한다면 정규화가 순서대로 이루어 졌다고 말할 것입니다. . 나는 사람들의 신념과 그들의 소득과 객관적인 현실에 대한 진술의 차이가 당신의 작업에 중요한 주제, 예를 들어 당신이인지 적 편견을 연구하는 심리학자이거나 더 관심이 있다면 경제 상황보다 예술가에 대한 자기 인식.

슬프게도, 나는 그것이 내가 묘사 한대로 그것이 실제로 작동한다는 것을 증명할 좋은 문헌을 가지고 있지 않습니다. 그것은 단지 개인적인 경험적 관찰입니다. 그러나 다른 답변이 말했듯이, 그것을 처리하는 단일 "올바른"방법이 없기 때문에 검토 자들이 이런 종류의 결정을 따라 잡을 것이라고 생각하지 않습니다. 어떤 것이라도, 그들은 잘못된 질의 기법으로 인해이 질문에서 전체 데이터를 유효하지 않은 것으로 무시합니다. 당신이 할 수있는 최선의 방법은 선점 적으로 인정하고 작업이 왜 유용하고 왜 데이터의 부정확성에 대한 이러한 소스에도 불구하고 당신이 그리는 결론이 여전히 좋은지에 대한 논증을 제시하는 것입니다.

사회 과학이 나에게 무엇인가를 가르쳐 준다면, 사람들이 논리적으로 일관성이없는 반응을 할 수있는 기회를 주면 그들은 그렇게 할 것입니다. 따라서 피사체에 특별한 점은 없습니다. 이것은 미래 측량을 설계 할 때 명심해야 할 사항입니다. 당분간 응답을있는 그대로두고 분석에서 응답이 실제로 100 %까지 증가하지 않는다는 점을 명심해야합니다. 실제 비율보다는 각 범주에서 각 대상이 얻는 소득에 대한 시끄러운 신호가 있으므로 분석하십시오.

예술 활동, 정부 지원, 개인 연금, 예술과 관련이없는 활동

한 눈에 "예술적 활동"과 "예술과 관련이없는 활동"은 100 %까지 증가해야합니다.

물론 "예술과 관련이없는 활동"은 "예술과 관련이없는 활동"과 동일하지 않습니다. 활동이없는 것과 관련된 수입이 전혀 없기 때문입니다. 그러나 그것은 대부분의 예술가들에게는 눈치 채지 못하는 머리카락입니다.

범주 1과 4가 최대 100 %가되어야한다고 가정하고 그에 따라 응답자를 재 해석하면 대부분 범주 4와 범주 2 및 3이 포함 된 것을 알 수 있습니다.

그러나이 모든 것이 이상적이지 않은 데이터 조작입니다. 정확한 통계적 답변을 원하면 정확한 데이터를 수집해야합니다. 사람들이 귀하의 설문 조사에 응답하여 거짓말을하기가 어려울 수 있지만 , 정직하게 귀하의 질문에 답변하려는 사람들이 의미에 대해 혼란 스러울 수 있다면, 귀하의 설문을 다시 작성해야합니다.

다음에는 설문을 발송하기 전에 이해 도 및 모호성 에 대한 설문지를 교정하십시오 .

당신은 소득에 대해 네 가지 범주를주었습니다. 그들 중 어느 것도없는 소득은 어떻습니까? 예를 들어, 주식 보유로부터의 배당 소득. 그것은 어떤 형태의 활동으로부터도 수입이 아니지만 정부의 지원이나 연금도 아닙니다. 다른 정보가 없을 경우 응답이 올바른 것으로 간주하고 응답자가 범주에 포함되지 않은 것으로 간주되는 소스에 누락 된 금액을 표시해야한다고 제안합니다.

실제로 그것은 매우 간단합니다 (그리고 생각만큼 비논리적 인 것도 아닙니다)! 나는 그것이 실제로 백분율을 요구함으로써 당신이 겪고있는 다른 소득 범주의 비율 이라고 가정합니다 . 따라서 단순히 100 %로 정규화 할 수 있습니다. 누군가가 말한다면 : 당신의 예에서 내 소득의 70 %가 예술 활동이며, 60 %가 정부의 지원에서이다, (propably 비율 작업에 어떤 훈련을 한 적이있다)이 사람은 실제로 말하고 다음 상대예술 활동과 정부로부터의 소득의 규모 나 비율은 약 70 ~ 60 또는 7 ~ 6입니다 (아마도 백분율이 100을 더한다고 가정하지 않음). 70/130 * 100 = 53 %의 예술적 소득과 60/130 * 100 = 47 %의 정부 지원 소득과 같이 비율에 대한이 진술을 백분율에 대한 진술로 간단히 재 정규화하면됩니다.

(내가하는 일은 실제로 "새로운"100 %로 130 %를 차지하고 비율을 계산하는 것입니다.)

추신. 이것은 명시된 백분율의 합계가 100이 아닌 모든 경우에 적용됩니다.

도움이 되었기를 바랍니다!

이미 주어진 대부분의 답변은 이미 명백한 조사 방법 론적 결함에 대한 통찰력을 제공 했으므로 여기서는 그것에 대해 언급하지 않겠습니다. 대신, 이미 수집되어 있고 결함이있는 질문에도 불구하고이 데이터를 처리하는 방법에 대한 몇 가지 실용적인 옵션을 제공하겠습니다. 이를 처리하는 몇 가지 방법이 있습니다. 전체 질문이 누락 된 것으로 취급 한 다음 여기에 논의 된 것과 같은 비 응답 항목을 처리하기위한 많은 수의 관행을 준수하여 "유효한 응답"에 대한 정의에 맞지 않는 응답을 표시 할 수 있습니다 .

$y_{{old}_{ij}}$ $(j=1,2,3,4)$$y_{{new}_{ij}}$

$$\begin{eqnarray*} y_{new_{ij}} & = & \begin{cases} 0 & ,\,\text{for}\,\sum_{j=1}^{4}y_{old_{ij}}=0\\ \frac{y_{old_{ij}}}{\sum_{j=1}^{4}y_{old_{ij}}} & ,\,\text{for}\,\sum_{j=1}^{4}y_{old_{ij}}>0\\ Missing & ,\,Otherwise \end{cases} \end{eqnarray*}$$ $i$

 A. (i=1) Artistic activity:  10% 
 B. (i=2) Government support: 0% 
 C. (i=3) Private pension: 30% 
 D. (i=1) Activities not related with arts:  40%

그런 다음 다음과 같이 다시 코딩하십시오.

$$\begin{eqnarray*} y_{new_{i1}} & = & \frac{10}{10+0+30+40}=\frac{10}{80}=12.5\%\\ y_{new_{i2}} & = & \frac{0}{10+0+30+40}=\frac{0}{80}=00.0\%\\ y_{new_{i3}} & = & \frac{30}{10+0+30+40}=\frac{30}{80}=37.5\%\\ y_{new_{i4}} & = & \frac{40}{10+0+30+40}=\frac{40}{80}=50.0\% \end{eqnarray*}$$

모든 새로운 백분율이 이제 100 %에 추가됩니다. 당신이 무엇을하든 결과를보고 할 때 변환을 매우 명확하게해야합니다. @ rolando2는 이러한 민감도 분석을 수행하여 이러한 변환이 결론에 미치는 영향을 확인하는 방법에 대한 훌륭한 조언을 제공했다고 생각합니다.