'천장 효과'가 발생하고 있다고 결론을 내려면 어떤 기준을 충족해야합니까?


13

사회 과학 연구 방법의 SAGE 백과 사전에 따르면 …

[a] 상한 효과는 측정 값이 잠재적 인 반응에 대한 뚜렷한 상한을 보유하고 참가자의이 집중도가이 한도 또는 그 근처에있을 때 발생합니다. 스케일 감쇠는 이러한 방식으로 분산이 제한 될 때마다 발생하는 방법 론적 문제입니다. … 예를 들어, 높은 점수는 좋은 태도를 나타내고 높은 응답은 가능한 가장 긍정적 인 평가를 얻지 못하는 태도의 측정으로 상한 효과가 발생할 수 있습니다. … 천장 효과 문제에 대한 최상의 솔루션은 파일럿 테스트로 문제를 조기에 식별 할 수 있습니다 . 상한 효과 가 발견 되고 결과 측정 값이 작업 수행 능력 인 경우 작업이 잠재적 인 응답 범위를 늘리기가 더 어려워 질 수 있습니다. 1 [강조 추가]

있는 것으로 보인다 제비조언질문 ( 여기 위의 인용에서 설명한 것과 유사한 천장 효과를 보여주는 데이터를 분석 처리).

내 질문은 간단하거나 순진 할 수 있지만 실제로 데이터에 상한 효과가 있음을 어떻게 감지 합니까? 보다 구체적으로, 심리 테스트가 작성되어 상한 효과 (시력 검사에만 해당)로 이어지고 더 큰 범위의 값을 생성하도록 테스트가 수정되었다고 가정하십시오. 수정 된 테스트로 인해 생성 된 데이터에서 상한 효과가 제거되었음을 어떻게 알 수 있습니까? 데이터 세트 a에 천장 효과 있지만 데이터 세트 b 에 천장 효과는 없음 을 나타내는 테스트가 있습니까?

내 순진한 접근 방식은 분포 왜곡을 검사하고 기울어지지 않으면 천장 효과가 없다고 결론 내릴 것입니다. 지나치게 단순합니까?

편집하다

좀 더 구체적인 예를 추가하기 위해, 나이가 들어감에 따라 증가하지만 결국 레벨이 낮아지고 노후에 떨어지기 시작하는 잠재적 특성 x 를 측정하는 도구를 개발한다고 가정 합니다. 나는 1-14의 범위를 가진 첫 번째 버전을 만들고, 일부 파일럿을 수행하고, 그것은 천장 효과 (최대 14에서 또는 그 근처에서 많은 반응이있을 수 있음)가있는 것처럼 보입니다. 왜 그런 주장을 뒷받침하는 엄격한 방법이 있습니까?

그런 다음 측정 값을 1-20 범위로 수정하고 더 많은 데이터를 수집합니다. 트렌드가 내 예상과 더 가깝다는 것을 알지만 측정 범위가 충분히 크다는 것을 어떻게 알 수 있습니까? 다시 수정해야합니까? 시각적으로 괜찮은 것 같지만 의심을 확인하기 위해 테스트하는 방법이 있습니까?

여기에 이미지 설명을 입력하십시오

이 천장 효과를 단순히 보는 것이 아니라 데이터에서 어떻게 감지 할 수 있는지 알고 싶습니다. 그래프는 이론이 아닌 실제 데이터를 나타냅니다. 계측기의 범위를 확장하면 더 나은 데이터 분산이 가능하지만 충분합니까? 어떻게 테스트 할 수 있습니까?


1 Hessling, R., Traxel, N. & Schmidt, T. (2004). 천장 효과. Michael S. Lewis-Beck, A. Bryman 및 Tim Futing Liao (Eds.), SAGE 사회 과학 연구 백과 사전 . (p. 107). 사우 전드 옥스, 캘리포니아 : Sage Publications, Inc. doi : 10.4135 / 9781412950589.n102


4
진전을 이루기 위해서는 "천장 효과"라는 운영상의 정의가 필요합니다. 일반적으로 문제가 될 수 있습니다. 결국 거의 모든 측정 량이 테스트 점수 또는 화학 농도에서 100 %, 계측기에서 읽을 수있는 것의 상한 등과 같은 일부 값을 현실적으로 실제로 초과 할 수는 없습니다. 모든 데이터에는 고유 한 상한이 적용됩니다. (가) "천장 효과"의 의미를 구성하지만, 그래서, 당신의 좋은 예에서 직관적으로 분명하다, 정확히 명확히하여 우리를 도울 수있는 어떤 데이터, 왜에서 "제거"할 필요가있다.
whuber

1
@ whuber 당신은이 용어가 여러 가지 다른 방식으로 사용되는 것이 옳습니다. 그러나이 경우, 나는 측정하고 싶은 모든 것을 초과 할 정도로 통치자를 길게 만드는 것에 대해 이야기하고 있습니다. 테스트를 만들 때, 100 %를 얻지 못하도록 충분한 난이도의 항목을 반드시 포함 시키십시오. 그렇지 않으면 그 사람의 능력이 실제로 테스트의 한계 이상인지 알 수 없습니다. 데이터에서 아무것도 제거 할 필요는 없지만 검열 된 데이터 포인트가 생성되지 않을 때까지 계측기를 수정해야합니다.
천장

감사합니다. 그래도 "천장 효과"가 무슨 의미인지 잘 모르겠습니다. 왜냐하면 어떤 그림도 어떤 종류의 검열에 대한 명백한 증거를 보여주지 못하기 때문입니다. 적어도 테스트로 얻은 종류의 고정 된 검열 한계는 아닙니다. 실제로 왼쪽 패널에서 오른쪽 패널로의 변경은 수직 축의 일대일 비선형 재 표현과 비슷해 보이므로 데이터의 한도에 영향을 미치지 않습니다. 이것은 회귀 잔차의 비대칭과 같이 완전히 다른 무언가에 대해 정말로 걱정하고 있는지 궁금합니다.
whuber

1
@whuber 지터는 대부분의 포인트가 겹치므로 추가되었습니다. 그래프가 내 질문과 관련이없는 것으로 보이면 분명히 내가 말하는 것에 대해 전혀 모릅니다. 나에게, 그것은 Hessling, Traxel, & Schmidt에 의해 기술 된 것처럼 천장 효과가있는 것처럼 보이지만, 귀하의 의견 과이 질문에 대한 관심이 완전히 없다는 것을 바탕으로, 아마도 아무 문제가없는 것 같습니다. 그래도 당신의 제안과 통찰력에 감사드립니다. 감사합니다.
천장은

1
@Johan 알겠습니다. 당신의 질문의 정신에서, 당신의 생각의 약간의 수정이 좋은 것일 수 있습니다. 잔차가 정규적으로 분포되어야한다고 가정하지 않는 한, 잔차 분포가 반응이 낮 으면 동질적이고 반응이 높은 곳에서는 잘릴 수있는 반응의 모노톤 변환을 찾을 수 있습니다. 다시 말해, 테스트는 정규성에 대한 것이 아니라 반응 에 대한 일관된 모양과 규모 를 찾아야합니다 .
whuber

답변:


3

우선, 두 그래프가 모두 천장 효과가 있다는 명확한 증거를 제공한다고 말하고 싶습니다. 그저 시각적으로가 아니라 그 효과를 측정하려고하는 방법은 관측의 사소한 부분이 계측기 범위의 상한 근처에있는 한 관찰하는 것입니다. 일반적으로, 시험에서 최고 점수를 얻는 시험 응시자 중 중요하지 않은 부분이있는 한, 상한 효과는 항상 존재합니다.

그러나 시험 분석 기술은 정확한 점수를 기반으로 기기의 점수를 직접 해석해야했기 때문에 먼 길을 걸어 왔습니다. 이제 아이템 반응 이론을 사용하여 개별 아이템의 아이템 파라미터를 추정하고 해당 아이템을 사용하여 주제 능력을 식별 할 수 있습니다. 우리가 테스트를 너무 쉽게 만들면 물론 테스트에 여전히 천장 효과가있을 수 있습니다. 그러나 품목 반응 이론의 힘으로 인해 인구의 사소한 부분 만 천장에 닿는 것을 방지 할 수 있도록 기기에 최소한 몇 가지 고난이도의 물건을 넣을 수 있어야합니다.

질문 주셔서 감사합니다. 매우 흥미 롭습니다!


2

거칠고 준비된 방법은 스케일이 증가함에 따라 분산을 측정하는 것일 것입니다. 이것이 감소를 나타내는 경우, 이는 천장 효과의 증거이며, 그렇지 않은 경우 천장 효과가 없습니다. 분산도의 동질성을 만들 수 있습니다. Levene의 검정은 분산이 스케일의 다른 지점에서 다른지 여부를 확인하는 데 유용 할 수 있습니다.


2
아이디어 주셔서 감사합니다. 나는 그것을 시도 할 것이지만,이 경우 나이가 들어감에 따라 분산이 자연스럽게 감소 할 것으로 기대합니다.
천장

천장,이 답변과 귀하의 의견은 두 가지 뚜렷한 개념을 혼란스럽게합니다. 스케일 변화는 환자의 반복 된 독립적 인 측정의 변동을 반영하는 것; 그것은 피험자에 의존하지 않고 피험자의 평균 반응에 따라 달라질 수 있습니다. 귀하와이 답변이 참조하는 분산은 회귀 잔차의 분산입니다. 그것들은 서로 관련되어 있지만 같은 것은 아닙니다.
whuber

@whuber 지적 해 주셔서 감사합니다. 그런데 업데이트 그래프와 정보에 여전히 상한 효과의 증거가 보이지 않습니까? 천장 효과가있는 데이터를 분석하는 데 대한 여러 가지 질문과 답변을 고려할 때이 질문에 거의 관심이 없다는 것이 놀랍습니다.
천장

안녕하세요. 피사체가 아닌 스케일이 증가함에 따라 피사체 간의 차이를 플로팅하는 한, 천장 효과에 대해 알려주지 않습니까? -규모가 증가함에 따라 Levene의 검정을 사용하여 분산의 유의 한 변화를 테스트 할 수 있습니까? 또는 분산의 주제 변경 내에서만 테스트하도록 설계 되었습니까? "잔차의 변화"와 같이 "척도 편차"이외의 척도가 증가함에 따라 다른 사람의 점수 변동을 설명하기 위해 다른 용어를 사용해야합니까? levene의 테스트를 사용하여 "잔차의 변화"가 규모에 걸쳐 균일 함을 보여줄 수 있습니다.
user45114

0

최고점 또는 최저점 주위의 군집이 상한 / 바닥 효과에 의한 것인지를 결정하는 데있어 중요한 문제는 사례 값이 실제로 값을 "표현"하는지 여부입니다. 상한 / 바닥 효과가 발생하는 경우 최대 값 또는 최소값을 가정하더라도 일부 경우는 실제로 최대 값 또는 최소값보다 높거나 낮습니다 (성인과 어린이 모두 측정 할 수있는 매우 간단한 수학 테스트를 완료한다고 가정) 수학 능력, 둘 다 100 %를 기록했습니다. 여기서 데이터가 검열됩니다.

고유 한 상한 및 하한을 갖는 리 커트 유사 스케일과 같은 경계 스케일을 사용할 때 또 다른 시나리오가 가능합니다. 최고 점수를받은 사람들이 실제로 그 점수를받을만한 가치가 있으며 최고 점수를 얻은 모든 사람 (위의 수학 예와 같은)에는 차이가 없을 수도 있습니다. 이러한 경우 데이터가 검열되지 않고 한계에서 잘립니다.

위의 추론을 바탕으로 데이터 잘림 및 데이터 검열과 함께 주어진 데이터 세트에 맞는 절차를 고안해야합니다. 검열 모델이 데이터에 가장 잘 맞다면 천장 / 바닥 효과가 있다고 결론 지을 수 있습니다.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.