6 번째 응답 옵션 (“모르겠습니다”)이 5 포인트 리 커트 척도로 추가되었습니다. 데이터가 손실됩니까?


16

설문지에서 데이터를 구제하는 데 약간의 도움이 필요합니다.

동료 중 한 명이 설문지를 적용했지만 실수로 원래 5 점 리 커트 척도 (강하게 동의하지 않음)를 사용하는 대신 여섯 번째 답변을 척도에 삽입했습니다. 그리고 문제를 악화시키기 위해 여섯 번째 응답 옵션은…“모르겠습니다”입니다.

문제는 어느 시점에서든“모름”을 선택한 응답자의 큰 비율입니다. 그것들이 합리적으로 적은 비율이라면 데이터베이스에서 제외했을 것입니다. 그러나 연구의 핵심은 개념적 모델에 기반을두고 있으며 너무 많은 레코드를 제외하면 모델에 문제가 발생할 수 있습니다.

누군가가 올바른 방향으로 나를 가리킬 수 있습니까? '모범 사례'가 있습니까? 아니면“모름”응답을 사용하기 위해 (변환, 변환 등) 무엇을 할 수 있습니까?

또한 문제의 데이터를 조작하거나 (예 : 대체, 대치 등으로 "모름"응답을 변환하는 경우) 어떤 종류의 '면책 사항', '경고', 주석, 사용해야합니까?

나는 그것이 긴 기회라는 것을 알고 있지만, 나는 응답을 구제하는 것 외에도 이러한 유형의 경우에 합의 된 관행 (있는 경우)이 무엇인지 궁금합니다.

추신 : 나는 그것이 유치하게 들리는 것을 알고 있지만, '동료'는 나가 아닙니다 :)


22
동료가 내가 모르는 범주를 포함하지 않았다고 상상해보십시오. 그 사람들은 무엇에 대답했을까요? 어쩌면 그들은 임의의 범주를 선택했을 수도 있고, 비워 두었을 수도 있습니다. 이제 변수가 문제가 있고 정보에 입각 한 결정을 내립니다. 이 관점에서 볼 때, 동료는 당신에게 호의를 베 풀었습니다.
Maarten Buis

글쎄, 내 머리를 긁는 한, 그는 실제로 나에게 호의를 베풀었다 ... 당신은 응답의 무작위성에 대해 옳았으며, 이것은 대치에 대한 접근법 일 수 있지만, 좋은 점이 있는지 궁금해하고있다. 관행 또는 적어도 일부 유사한 경험
간소화

4
특히 " 알지 못하는 "옵션 이없는 설문지 (특히 선택하지 않고 제출할 수없는 경우)가 있습니다. " 우주 로켓의 새로운 기능이 개선되었습니다 " 와 같은 질문을 던졌다 고 말하면 최대한 중립 상태가되어야합니다. 그런 다음 일부 사람들은 그런 종류의 설문을 해석하고 "우리는 1000 명에게 물었습니다"라고 결론을 내릴 수 있습니다. 실제로는이 기능을 사용하는 사람들에게는 완전히 실수가 될 수 있습니다. " 그러한 경우, 내가 사용하지 않은 것에 대한 침묵의 보증처럼 느껴집니다.
Bruno

3
더 명확하게 말하면, 모델이 5 점 척도가 응답자의 의견을 나타낼 수 있다고 가정하면 데이터 가 모델이 부적절하다는 것을 증명합니다 . 그것이 맞다면 사람들은 1-5로 대답 할 수 있었기 때문에 무시할만한 숫자의 "모르겠습니다"를 가질 것입니다. 따라서이 데이터는 수성의 궤도와 같이 "모델에 문제를 일으킬 것입니다"는 뉴턴 물리학에 문제를 만듭니다. 중간 지점이 "동의하지 않거나 동의하지 않는 경우"가 유일한 방법이라고 생각했을 때 "알지 못함"이 이와 동일한 의미로 중복되는 경우를 만들 수 있습니다.
Steve Jessop

안녕하세요, @SteveJessop, 이론 / 원칙적으로 설문에 대한 문제를 나타내는 DK 답변의 수에 대해서는 맞습니다 (모델이 아니라 모델이 척도의 CFA가 아니라 회귀) 척도를 포함한 많은 변수에 대해서는 여전히 불충분하다고 부르는 것이 조금 강합니다. 스케일 분석을 수행하고 DK 응답의 전단 수가 문제가 될 수 있음을 알 수 있습니다. 그러나 그들은 또한 응답자가 대답하고 싶지 않다는 것을 의미 할 수도 있습니다 (실제로 대다수의 DK 답변은 시험 후 학생 그룹에서 나옵니다 ...)
유선형

답변:


28

사실이 아닌 것에 대해 강제로 교정을 시도하는 이유는 무엇입니까? Maarten이 말했듯이 이것은 데이터 손실이 아니라 정보 획득입니다. 당신이 찾고있는 마법의 약이 존재한다면 그것은 사용자가 "모름"이라고 말하더라도 특정 레이블을 선호하는 편향과 같은 인구에 대한 몇 가지 가정이 있음을 의미합니다.

나는 당신의 좌절감을 완전히 이해하고 있지만 문제에 접근하는 올바른 방법은 다른 방법 (데이터 수정)이 아닌 실제 기존 데이터를 기반으로 요구 사항에 맞게 모델을 수정하는 것입니다.


안녕하세요, Hatim, 모델 수정이 가능하지 않다고 생각합니다. 척도는 서수이며, 합리적이고 명백한 선택을 가정하지만, 여섯 번째 대답은 "모르다"는 다양한 방식으로 해석 될 수 있습니다. "이 상황에 처한 적이 없다 / 기억 나지 않는다"는 의미 일 수도 있고, 어떤 종류의 '중개자'선택을 의미 할 수도 있습니다. 본인을 대신하여 그러한 해석 / 가정은 의심스럽고 근거가 없습니다. Maarten의 답변은 정보의 '이득 (gain)'을 언급하는데, 특정 '무작위'대치가 사용될 수 있다는 것을 알지만 이것은 "모델 수정"이라는 말이 아닙니다.
유선형

계속 ... 그러나, 나는 여전히 '불확실한'대치에 대해 더 깊이 시험해보고 싶은 유혹을 받았지만, "알지 못하다"라는 대답이 많으면 변수 사이의 진정한 (진정한) 관계가 변경되었습니다.
유선형

8
+1. 불편한 점을 알고 있지만 해당 모델을 테스트하거나 계획된 분석을 수정하려는 경우 다른 데이터 세트를 찾는 방법을 선택할 수 있습니다. 당신은 다른 답변을 기대하면서 질문을했지만 내 견해로는 방어 할 수있는 것이 없습니다. 내가 그런 설문지에 응답했다면, 나는 모르는 것을 다른 것으로 취급하려는 시도에 대한 왜곡과 신뢰 부족으로 기분이 상할 것입니다. 사실 가끔씩의 사회 연구 소비자로서 나는 당황했습니다.
Nick Cox

1
당신은 이런 일이 여러 번 일어 났음을 당연히 옳습니다. 그렇기 때문에 예상치 못한 문제로 인해 전환되거나 복잡한 프로젝트 경험이있는 사람들이 말할 수 있기 때문에 분석이 달라지고 논문이 상상할 수 없을 것입니다. 또는 때로는 프로젝트가 제대로 작동하지 않아서 갈 수도 있습니다. (어쨌든 당신이 따라야 할 강의 나 강요를 받고 있다면 그것은 불행한 일이지만, 그것에 대해 생각하는 방법에 대한 조언에는 영향을 미치지 않습니다.)
Nick Cox

8
@ user2836366 모델을 수정할 수 없다는 주장을 이해하지 못합니다. "알지 못함"은 서수의 응답 모음에 포함되지 않지만 이는 전적으로 요점입니다. "모르다"는 이유를 불문하고 (실제 알고 있음을 포함하여) 서 수적 응답 중 하나를 선택하지 않았 음을 의미합니다. 따라서 그러한 수정 중 하나는 해당 프로세스에 대한 일부 모델 ( "알지 못함"대 "다른 옵션 중 하나 선택")을 선택한 다음 두 번째 범주의 사례에 대한 일반적인 모델을 가질 수 있다는 것입니다. 이러한 모델은 허들 모델 또는 제로 팽창 모델과 다소 유사 할 수 있습니다.
Glen_b-복지 주 모니카

10

이것이 독립적으로 검증 된 표준화 된 설문지 인 경우 새 설문지가 동등하며 데이터가 더 이상 비교할 수 없다고 주장 할 수 없습니다. 별도의 실험에서 설문지를 검증하고 조사하려고 시도 할 수 있습니다 (특히 이전 버전과의 비교 가능성을 보여 주려는 경우에는 시간과 노력이 많이 소요됨). 검증되지 않은 설문지에서).

데이터를 사용할 때는 변경 사항을 고려해야합니다. 태도 질문에 직면했을 때, 사람들은 당신에게 "객관적으로 진실한"대답을하지 않고, 그들이 당신에게 진실하다고 느끼는 대답을하게됩니다. 그리고 이것은 가능한 답변 옵션에 의해 영향을받습니다. 규모에 따라) 및 주제에 대한 지식 (참가자가 주제에 대한 지식이 많거나 적은지 여부에 따라 다르게 작동하는 경우도 있음)이 있습니다 (!).

따라서, 우리가 기존의 질문자를 처리하는 경우, 귀하의 설문지 버전과 원본 설문지를 비교할 수있는 좋은 옵션이 있습니다. 원본이 사람들이 선택한 것을 알고 있다고 가정하고 그렇지 않은 것으로 판명되면 이전 모델이 잘못된 가정을 기반으로하는 방법과 그 결과에 대해 논의 할 수 있습니다. 이것은 "측면"발견으로, 좋은 새로운 연구 질문을 만들지 만, 원래의 질문에서 멀어지게하고 실제로 원래의 질문에 대답하는 것이 생각보다 훨씬 어렵다는 것을 보여 주므로 확실히 작업이 배가됩니다.

확립 된 설문지를 다루지 않는 경우 흐름에 따라 진행하여 임시 설문지가 그런 식으로 계획된 것처럼 가장하고 그에 따라 결과를 평가할 수 있습니다. 다시 말하지만,이 방법으로 원하는 결과를 얻을 수 없다는 것을 의미 할 수도 있지만이 또한 알아야 할 중요한 사항입니다.

단어와 옵션이 설문지에 응답하는 방식에 어떻게 영향을 미치는지 이해하려면 Tourangeau et al.의 "측량 응답 심리학"을 읽는 것이 좋습니다. 설문지를 작성하는 모든 사람에게 큰 도움이됩니다.


2

응답자가 몇 명의 자녀를 낳았는지 물어 보면 "제로"와 "해당 사항 없음"이라는 대답은 남성이 출산 할 수 없기 때문에 완전히 같은 의미는 아닙니다.

어떤 맥락에서, 중립적 반응에 "모르다"를 동일시하는 것은 개념적 실수 일 수있다.

실제로 두 가지 질문이 있습니다. 이분법적인 "의견이 있습니까?" 그리고 서수 "무엇입니까?", 위와 같이 암시 적 "여성입니까?" 당신의 명백한 질문을 넘어서.

물론 일부 모델링을 가능하게하는 몇 가지 가정 (때로는 올바르게, 때로는 편의상, 때로는 강제로)을 도입 할 수도 있지만, 현상의 특정 영역에 들어 가지 않고서는 보편적으로 적용 가능한 전략을 볼 수 없습니다.

마지막으로 생각할 때, 여성의 여성 성 답변에서 남성 인구에게 무엇인가를 시도하고 추론하는 것은 의미가 없습니다.


2

리 커트 유형의 등급 척도로 구성된 설문지에 응답을 모를 옵션을 포함해야하는지 여부에 대한 딜레마는 영원합니다. 항목이 의견에 관해 질문 할 때, 의견이없는 것이 그 자체로 중요한 지위이고 응답자가 그러한 옵션을 기대하기 때문에 DK가 포함됩니다. 사람들이 목표 DK 옵션에 자질을 부여하는 개인 특성 목록에서, 일반적으로 응답자는 특성의 친화력 정도를 평가할 수 있기 때문에 (즉, 응답자는 항상 자격을 갖춘 것으로 간주 됨); 그리고 때때로 어려움을 발견하면 (명령에 따라) 해당 항목을 건너 뛸 수 있습니다. 사람들이 목표 (행동 적 항목) DK (또는

@Haart의 답변에서 @Maarten과 OP 질문에 대한 다른 논평자들은 현 연구에서 관찰 된 많은 양의 DK 응답이 항목의 문제 (콘텐츠 유효성 또는 얼굴의 정확성)를 나타내거나 피험자가 그렇지 않다는 것을 현명하게 주장했다. 그들에게 주문 된 설문지에 적합하지 않습니다.

그러나 당신은 그 이야기를 결코 말할 수 없습니다. 궁극적으로 장애의 해석은 당신에게 있습니다 (별도의 조사에서 다루지 않는 한). 예를 들어, 설문지에 리 커트에 DK 옵션을 포함 시키면 (즉, 특성 애트리뷰트 인벤토리) 나쁜 것이 아니라 좋지 않다고 주장 할 수있다. 그것은 당신에게 정보를 제공하지는 않았지만 (평론가들이 말한 it proves that the [rating] model is inadequate) 응답자를 혼란스럽게하거나 유혹했습니다. 암시 적인지 적 특성 스키마에 의해 유도 된 등급 결정이 제공되지 않았을 경우; 그러나 냉각 옵션을 보면 스키마가 배제되고 급히 철회 할 수 있습니다.

더 위험을 인정한다면, 왜 그렇지 않습니까? - 쉽게 산만하거나 게으른 주체가 누구의 잠재적 인 사람임을 개최 다시보기는 유효하지만 약하게 차별화되는 경향이있다 - 즉, 그는 쉽게 기존의있는 invoke 것 DAS 남자 , 개인 대신에 Erlebnis , 스키마 - 다음 잠정적으로 추측 할 수있다 그의 실종 응답은 해당 항목에 대한 표본 또는 모집단 평균에 대한 것입니다. 그렇다면 왜 누락 된 응답을 평균 (+ 잡음)으로 대체하지 않습니까? 또는 상관 관계를 고려하기 위해 EM 또는 회귀 (+ 잡음) 대치를 수행 할 수 있습니다.

반복 : 대치 결정은 가능하지만 위험하며, 누락 된 데이터가 많을 경우 결여 된 데이터를 "정확하게"복원 할 가능성은 거의 없습니다. @rumtscho가 말했듯이, DK가있는 새로운 설문지는 DK가없는 원래 설문과 동일하지 않으며 데이터는 더 이상 비교할 수 없습니다.

이것들은 추측이었습니다. 그러나 무엇보다도 관찰 된 결측 패턴을 조사해야합니다. DK를 선택한 과목은 누구입니까? 하위 유형으로 함께 클러스터링됩니까? 나머지 항목에서 "괜찮아"하위 샘플과 어떻게 다른가요? 일부 소프트웨어에는 결 측값 분석 패키지가 있습니다. 그런 다음 사람들을 전체적으로 또는 부분적으로 삭제하거나, 대치할지, 별도의 하위 샘플로 분석 할지를 결정할 수 있습니다.

추신 또한 응답자들은 "멍청하다"는 점에 유의하십시오. 그들은 종종 스케일 등급과 혼합됩니다. 예를 들어, DK 포인트가 스케일의 한 극에 가까이 배치 된 경우 종종 해당 극에 부주의하여 혼동 될 수 있습니다. 나는 농담하는 게 아니다.


안녕하십니까, @ttnphns, 글쎄, 당신의 대답은 포인트를 잡기에는 너무 깁니다. 솔직히 말하면, 나는 그것을 두 번 다시 읽어야 할 것입니다. 그러나 그것은 내가 원하는 모든 것을 해결합니다.
유선형

0

이제 해당 문제에 대한 의견을 수렴 한 응답자가 선택되었습니다. 당신이 결론을내는 것은 전적으로 그 사람들에 관한 것입니다. "알지 못한다"를 폴링하는 것은 정의상 덜 유용하기 때문에 이것은 괜찮을 것입니다.


2
말리지 만 너무 비관적입니다. 그 사람들은 자신이 할 수있는 것, 할 수없는 것,하지 말아야 할 것,하지 말아야 할 것에 대한 논거를 제시했으며, 그것은 반드시 고려해야 할 논거입니다. 어떤 스레드에서도 같은 대답을 할 수 있지만 말을하지 않는 사람들은 아무 말도하지 않습니다.
Nick Cox
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.