설문지 검증


12

논문에 대한 설문지를 디자인하고 있습니다. Cronbach의 알파 테스트를 초기 샘플 그룹에 적용한 설문지를 검증하는 중입니다. 설문지에 대한 답변은 리 커트 규모입니다. 누구든지 그 유효성을 테스트하는 데 도움이되는 추가 테스트를 제안 할 수 있습니다. 통계 전문가가 아니므로 도움을 주시면 감사하겠습니다.

몇 가지 조사를 해왔으며 Rasch 분석을 수행 할 수있는 것으로 보입니다.이 테스트와 조언을 적용 할 수있는 무료 소프트웨어 사이트가 있습니까?

답변:


22

귀하의 설문이 하나의 일차원 척도로 간주된다고 가정합니다 (그렇지 않으면 Cronbach의 알파는 그다지 의미가 없습니다). 이를 확인하기 위해 탐색 적 요소 분석을 실행할 가치가 있습니다. 또한 품목이 스케일과 어떤 관련이 있는지 (즉, 하중을 통해) 확인할 수도 있습니다.

아이템과 스케일을 확인하는 기본 단계는 다음과 같습니다.

  • 품목의 기본 통계 (범위, 사 분위수, 중심 경향, 천장 및 바닥 효과가있는 경우)에 대한 완전한 보고서;
  • 알파로 수행 한 내부 일관성 확인 (샘플에 의존하기 때문에 95 % 신뢰 구간 제공)
  • 일반적인 통계 (히스토그램 + 밀도, Quantile 등)를 사용하여 요약 측정 (예 : 총 또는 평균 점수, 일명 스케일 점수)을 설명합니다.
  • 평가중인 구성과 관련이있는 특정 공변량에 대해 요약 응답을 확인하십시오.이를 알려진 그룹 유효성이라고합니다.
  • 가능하면 동일한 구조 ( 동시 또는 수렴 유효성) 를 측정하기 위해 알려진 알려진 도구에 대해 요약 응답을 확인하십시오 .

척도가 일차원이 아닌 경우, 각 단계에 대해이 단계를 수행해야하며, 2 차 요인 구조를 평가하기 위해 요인의 상관 행렬을 인수 분해 할 수도 있습니다 (또는 구조 방정식 모델링 또는 확인 요인 분석 또는 원하는대로). Multi-trait scaling 또는 Multi-trait multi-method modeling (scales 내외의 항목 간 상관 관계에 기초한) 또는 SEM을 사용하여 수렴 및 판별 유효성을 평가할 수도 있습니다.

그런 다음 설문지 단축, 차동 항목 기능 을 나타내는 일부 항목 필터링 또는 컴퓨터 적응 형 테스트 에서 테스트를 사용 하려는 경우가 아니라면 항목 응답 이론이 그다지 도움이되지 않는다고 말할 것 입니다.

어쨌든 Rasch 모델 은 이진 항목을위한 것입니다. 다원적 주문 품목의 경우 가장 일반적으로 사용되는 모델은 다음과 같습니다.

  • 차등 반응 모델
  • 부분 신용 모델
  • 평가 척도 모델.

후자의 두 사람 만이 Rasch 가족 출신이며, 기본적으로 인접한 승산 공식을 사용합니다. 이는 주어진 반응 범주를 승인하기 위해 대상이 여러 임계 값을 "지나 가야"한다는 생각입니다. 이 두 모델의 차이점은 PCM이 임계 값이 세타 ( 잠재적 특성의 능력 또는 대상 위치) 스케일 에서 동일하게 간격을 두지 않는다는 것입니다 . 차등 반응 모델은 누적 승산 공식에 의존합니다. 이 모델은 모두 스케일이 일차원이라고 가정합니다. 즉, 잠복 된 특성은 하나뿐입니다. 예를 들어 국소 독립과 같은 추가 가정이 있습니다 (즉, 응답 간의 상관 관계는 능력 척도의 변화로 설명됩니다).

어쨌든, Journal of Statistical Software : Special Volume : Psychometrics in R 의 20 권에 R로 심리 측정 방법을 적용 할 수있는 매우 완벽한 문서와 유용한 단서가 있습니다 . 기본적으로, 나는 내 일상 업무에 사용하는 것이 가장 흥미있는 R 패키지는 다음과 같습니다 LTM , , 심리 , 싸이 . 다른 것은 CRAN 작업 뷰 Psychometrics 에서 참조됩니다 . 관심있는 다른 자원은 다음과 같습니다.

규모의 개발 FA 대에 IRT의 사용에 좋은 검토가 실제로 규모 건설 및 평가에서 찾을 수 있습니다 문항 반응 이론의 응용 프로그램에 대 요인 분석의 검토 × 10, 홀트 등 (심리 테스트 및 평가 모델링 (2010) 52 (3) : 272-297).


11

위에서 언급 한 모든 것을 지원하면서 다음을 수행 할 것을 제안합니다 (유사한 순서로)

먼저 시작하지 않으면 R을 사용해야합니다. 다음은 R 사용에 대한 조언입니다.

이 시점에서 설명 통계 등을 계산했다고 가정합니다. 그렇지 않은 경우, psych 패키지에는 필요한 통계를 제공하는 describe () 함수가 있습니다.

CRAN에서 psych 패키지를 설치하십시오. 사이코 패키지를로드하십시오. 데이터에 fa.parallel 루틴을 사용하십시오. 이를 통해 여러 가지 요소를 유지해야합니다. 그런 다음 VSS (루틴)를 사용하십시오. 이를 통해 MAP 기준을 계산하여 다른 (보통) 보유 할 다른 수의 요인을 제공합니다. 각 요소 수에 대해 요소 분석 형식 (주성분이 아님)과 비스듬한 회전을 사용하십시오. 비스듬한 회전 후 요인이 상관 관계가없는 것으로 보이면 직교 회전으로 전환하십시오. 이것은 직교 구조로서 비스듬한 회전으로부터 결정될 수 있지만 그 반대도 마찬가지입니다.

MAP 기준과 병렬 분석 기준 사이의 모든 요인 솔루션을 추출합니다. 이 중 어느 것이 가장 적합한 지수를 가지고 가장 적합한지를 결정하십시오. 이것은 당신이 유지 해야하는 것입니다.

ltm과 eRm을 모두 사용한 IRT에서는 eRm부터 시작하는 것이 좋습니다. 모델에 더 나은 그래픽 기능이 있으며 다원 모델에 대한 지원이 더 큽니다. 즉, 그것은 Rasch 모델에만 적합하며 종종 심리적 설문지의 데이터가 요구 사항을 충족하지 않습니다. 행운을 빕니다! 의심 할 여지없이 Psychometrics는 많은 재미입니다.


1
(+1) 잘 들립니다. IRT 모델링 및 FA와 경험을 공유해 주셔서 감사합니다. 그래픽 기능 외에도 eRm의 조건부 접근 방식은 Rasch (고정 매개 변수)에 의한 세타의 초기 사고에 더 가깝습니다.
chl

1

설문지를 검증 한다는 것은 측정 대상을 측정한다는 것을 의미합니다. 따라서 이것은 대부분 통계적인 질문이 아니며 설문지의 특정 내용을 모른 채 대답 할 수 없습니다. 크론 바흐 알파는 유효성에 대해 아니지만, 다소 신뢰성과 관련된 내적 일관성에 대해 (또는 그것을 말할 수 있습니다 질문이 상호 교환 추정 신뢰성 -하지만 그들은 아니에요).

설문지를 검증하기 위해 무엇을 할 수 있습니까? 어떤 심리적 과정이 특정 패턴의 결과를 일으키는 지 연구 할 수 있습니다 (예 : 실험 조작으로 그러한 패턴을 유도하려고 시도하거나 생각이 큰 절차를 사용하여 [ "프로토콜 분석", Ericsson & Simon, 1992]). 또는 점수가 다른 대조 그룹 (예 : 대조군 환자)을 비교하십시오. 또는 측정하고있는 특성과 관련이있는 외부 기준과 연관 시키십시오. 또는 Psychoscope (TM)로 특성을 측정하고이를 기준으로 사용하십시오.

다른 답변은 아마도 현실적으로 할 수있는 일을 지적하는 데 더 유용합니다. 대부분의 경우 타당성에 대해 엄격하게 말하지는 않지만 (예 : "알려진 그룹 유효성"및 외부 유효성에 대한 Chi의 언급).

마르쿠스 & Borsboom (2013) 유효성에 대한 현대적인 접근 (@ 이것과 다른 유용한 심판에 대한 참조 Borsboom의 홈페이지 ).

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.