지역 과학 박람회의 우승자를 공정하게 결정하는 방법은 무엇입니까?


9

과학 박람회에서 우승자를 계산하는 올바른 방법을 찾는 데 도움이 필요합니다. 나는 통계와 수학에 대한 나의 무지가 아이의 승리 가능성을 방해하고 싶지 않습니다. (많은 장학금 및 고급 혜택). 도움을 주셔서 감사합니다.

먼저 설정 방법에 대한 약간의 배경 지식 :

우리 박람회에는 일반적으로 약 600 개의 학생 프로젝트가 있습니다. 이 프로젝트는 개별 학생 또는 학생 팀이 작성하고 발표합니다. 팀은 2 ~ 3 명의 어린이로 구성 될 수 있습니다.

학생들은 초등 (6-8 학년)과 중등 (9-12 학년)의 두 부분으로 나뉩니다. 각 부서에는 서로 다른 범주가 있습니다. 초등학교 프로젝트의 경우 9 개 범주와 보조 부서의 프로젝트의 경우 17 개 범주입니다.

각 부문의 각 부문별로 1, 2, 3 위를 수상했습니다. 3 위를 넘어선 배치에 대해서는 명예로운 언급이 수여됩니다.

각 프로젝트마다 4-6 명의 심사 위원을 배정합니다. 우리는 심사 위원의 자격, 카테고리 선호도 및 과거 심사 경험을 바탕으로 과제를 수행합니다. (더 많은 경험이 고위 부서 프로젝트에 할당됩니다).

심사 위원이 프로젝트를 평가하는 방법 :

각 프로젝트마다 5 개의 기준이 지정됩니다. 각 기준은 1 점에서 20 점 사이에 부여 될 수 있습니다. 일반적인 기준은 다음과 같습니다.

  • 전체 목표 + 가설 + 자원 사용 ( 1..20 )
  • 설계 및 절차 ( 1..20 )
  • 데이터 수집 + 결과 ( 1..20 )
  • 토론 + 결론 ( 1..20 )
  • 인터뷰 ( 1..20 )

팀 프로젝트의 경우, "팀 공제"라고하는 6 번째 기준이 평가되는데, 여기서 심사 위원은 참여하지 않았거나 나타나지 않은 팀원을 위해 포인트를 최대 15까지 공제 할 수 있습니다 .

  • 팀 공제 ( 0 ..- 15 )

따라서 판사는 5 점에서 100 점 사이의 모든 프로젝트에 점수를 매길 수 있습니다. 프로젝트가 팀 프로젝트 인 경우 점수를 15 점 낮출 수 있습니다.

원시 데이터 :

몇 시간 동안 우리는 판사로부터 최대 3,600 점을 얻습니다. 이 점수는 모든 종류의 정렬, 평균화, 표준 편차 계산 등을 수행 할 수있는 데이터베이스에 입력됩니다.이 원시 점수로 무엇을해야하는지 정확히 알지 못합니다. 지금은 각 프로젝트에 대해 간단한 평균을하고 있지만, 판사 편견, 팀 공제 또는 내가 고려하지 않은 다른 많은 것들을 조정하지 않을까 걱정하고 있습니다.

원하는 결과 :

결국, 점수를 처리하여 각 범주에 대해 1 등, 2 등 및 3 등 프로젝트를 수여하고 그 다음 장소에서 우수상을 수여하고 싶습니다. 나는 위치가 올바르게 계산되었고 우승하는 아이들이 인정 (및 상)을받을 자격이 있다고 확신하고 싶습니다.

내 긴 질문을 읽고 이것을 알아내는 데 도움을 주셔서 감사합니다. 다음 질문에 답변 해 드리겠습니다.


1
흥미롭고 어려운 질문이며 몇 가지 주요 문제에 손가락을 대었습니다. 총 몇 명의 판사, 각 판사가 몇 개의 프로젝트를 심사합니까? (범위뿐만 아니라 평균에 대한 일부 아이디어가 좋을 것입니다). 또한 26 개의 범주가 상호 배타적입니까? 나는 각 프로젝트에 대한 평균을하는 것이 최선의 대답이라고 생각하지만 판사를 조정하는 것이 가능할 수도 있습니다. 관심을 가지고 답변을 읽겠습니다!
피터 엘리스

처음 관심을 가져 주셔서 감사합니다. 아래 답변에 더 많은 정보를 추가했습니다. 통찰력이 있으시면 도와주십시오.
Mike Davie

답변:


2

나는 "답변"이 내 생각에 너무 관대하다고 생각합니다. 나는 탐색 적 데이터 분석을 좋아하고 거대한 상자 그림 팬이므로 의견에 반영 될 것입니다.

안녕하세요, 많은 점수입니다. :) 600 개 프로젝트 중 78 개 이상의 프로젝트가 상위 3 개 ( [9+17]x3)에 추가되고 명예로운 언급이있는 것 같습니다. 일반적으로 점수의 감사를 수행하기 위해 각 카테고리의 상단과 중간에서 샘플링한다고 말하지만, 보유하고있는 숫자로 인해 귀하의 경우에는 매우 번거로울 것입니다-그것은 단지 점수를 마무리하는 것입니다. :)

아래에서 사용할 수있는 몇 가지 제안이 있으므로 통계 패키지를 사용할 수 있기를 바랍니다.

각 카테고리의 점수 산포를 보셨습니까? 상위 3 개, 5 개 또는 8 개의 프로젝트가 점수에 매우 근접합니까? 그것은 프로젝트의 질이 매우 비슷하고 당신이 무엇을하든 최종 점수에 대해 적어도 임의의 인식에 대한 인식이있을 것임을 암시합니다.

각 판사가 얼마나 많은 프로젝트를 수행했는지 잘 모르겠습니다. 그들이 적당한 수의 점수를 받았다고 가정하면 (예를 들어,> 10, 더 높을수록), 각 판사에 대해 그들이 평가하는 각 프로젝트에 주어진 총 점수의 중앙값과 사 분위수 범위를 계산할 수 있습니다 (너무 많은 속성을 가지고있을 것입니다. 각각 개별적으로 볼 가치가 있습니다.) 어떤 심사 위원이 특히 높은 점수를 주거나 특히 낮은 점수를주는 것 같습니까? 판사들이 중간에 일관되게 점수를 매기고 10 초를 줄 수 있는가? 이것은 사 분위 간 범위가 비교적 작고 가능한 값의 범위의 중간 정도의 총점으로 표시 될 수 있습니다.

팀 프로젝트의 경우 팀 공제가 적용된 후 총 점수를 기준으로 배치를 비교할 수 있습니다. 팀 공제가 다른 상위 3 팀에 영향을 미치는 팀에 영향을 미칩니 까?

다음은 시작하기위한 제안입니다. 이 라인을 따라 데이터를 시각화하면 게재 위치가 공정한지 여부에 대한 좋은 지표를 얻을 수 있다고 생각합니다.

업데이트 : 이것은 당신이 가지고있는 흥미롭게 어려운 문제입니다. 각 개별 판사가 각 판사에 대한 가중 계수를 도출 할 수있는 충분한 프로젝트를 평가하지 못하는 것 같습니다 (판사 편향을 고려하기 위해). -판사에 대한 평가자 신뢰도, 동일한 프로젝트에서 판사에게 점수를 매기는 것만으로는 충분하지 않습니다. 상위 몇 프로젝트의 점수 범위를 보았습니까?이 프로젝트와 낮은 점수 프로젝트 (자연 경계?) 사이에 명확한 차이가 있었습니까?

호기심으로 판사에게 점수 기준이 주어 졌으므로 각 기준에 대해 점수를 매기는 방법에 유연성이 거의 없었습니다 (예 : 귀무 가설을 제공하기 위해 1 점 제공, 하나 이상의 대립 가설을 제공하기 위해 1 점 제공). 그들은 그들이 수여 할 수있는 총 포인트 수를 알고 있었으며 나머지는 그들에게 맡겨 졌습니까? 그들이 점수 가이드를 가지고 있다면, 점수가 합리적으로 정확하다고 확신합니다.


1
나도 점수의 확산에 대해 호기심이 많을 것입니다-분명히 "최고 점수"가 있습니까, 아니면 덩어리가 있고 그 위에 나오는 사람은 약간 ... 불투명 한 과정입니다. 대학 입학 절차와 마찬가지로이 아이들은 나중에 경험하게 될 것입니다 :)
Fomite

당신의 생각에 미셸 감사합니다. 시간 내 주셔서 감사합니다. 귀하의 질문에 대답하기 위해, 판사는 소수의 프로젝트 만 판단합니다. 각 부서마다 최소 4 회, 초등 5 회 또는 6 회 (고등학생 5 회, 노인 6 회)가 있습니다.
Mike Davie

위의 내용을 명확히해야합니다. 최소 점수는 프로젝트 당이며 심사 위원이 박람회 기간 동안 프로젝트에 몇 번이나 점수를 매기는지가 아닙니다. 전형적인 판사는 박람회 기간 동안 8 ~ 15 개의 프로젝트를 심사합니다. 그 수는 판사의 가용성, 자격, 도움을 기꺼이하는 것에 달려 있습니다.
Mike Davie

2
좋은 대답 Michelle. 나로부터 몇 가지 아이디어 : 1) 판사들에게 공통된 표준을 장려하기 위해 일종의 루 브릭을 확실히 제공한다. 2) 가능하면 프로젝트 당 동일한 수의 심사 위원을 두십시오 (그렇지 않으면 심사 위원 수가 적은 프로젝트는 분산이 높아져서 상단 또는 하단에 도달 할 가능성이 높아짐). 3) 단지 평균 만 사용하십시오. 그러나 전문 지식과 소프트웨어를 보유한 경우 임의 효과로 판단하여 혼합 효과 모델을 적용 할 수 있으며 결과가 변경되는지 확인할 수 있습니다. 그렇다면 어떻게해야합니까? 아마 여전히 평균을 사용합니다 ....
Peter Ellis

모든 사람의 의견에 다시 한번 감사드립니다. 한동안 머릿속에서이 문제를 해결 한 후, 프로젝트가 국제적 수준 (우리 박람회보다 한 단계 높은 경쟁 단계)에서 어떻게 평가되는지 확인하기로 결정했습니다. 국제 박람회는 ISEF입니다. 우리는 매년 상위 5 명의 학생들을 ISEF에 보냅니다.
Mike Davie
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.