통계 (예 : Gallup)에서 통계 샘플링이 작동해야하는 이유는 무엇입니까?


14

설문 조사 결과 (예 : Gallup)는 인구 규모와 비교하여 터무니없이 적은 수의 사람들을 샘플링합니다 (예 : 수억 명 중 수천 명).

이제 나에게, 모집단 통계량을 추정하기위한 수단으로 모집단을 표본 추출하는 것은 표본이 모집단을 대표 한다고 생각할만한 강력한 이유가있을 때 (또는 다른 표본 의 경우와 마찬가지로 ) 의미가 있습니다.

예를 들어, 샘플링은 의학 연구에 분명히 의미 가 있습니다. 인간은 모두 비슷한 게놈을 가지고 있으며이 요인으로 인해 신체가 비슷하게 행동한다는 우선 순위 를 알고 있기 때문 입니다.
이것은 일종의 느슨한 결합이 아니라는 것에 주목하십시오-게놈은 꽤나 강력한 결정 요인 입니다.

그러나 나는 정치 여론 조사와 같은 것들에 대해 낮은 표본 크기를 사용하는 것이 정당하다는 것을 이해하지 못합니다.

나는 비슷한 사회 경제적 / 교육적 배경으로 인해 특정 지역 주민의 80-90 %가 대통령과 유사하게 투표 할 수는 있지만, 이것은 샘플 수가 적다는 것을 정당화하는 것 같지는 않습니다. 문자 그대로 1000 명의 무작위 유권자가 2 억 명의 다른 유권자처럼 행동해야하는 설득력있는 이유없습니다 .

나에게, 당신은 적어도 100 배의 양을 좋아할 것 입니다. 왜? 나는 여러 가지 이유를 생각할 수 있습니다.

  1. 캘리포니아 에는 ~ 22,000 개의 경내 구역 이 있습니다 . 사람들은 그들의 경제적, 교육적 배경에서 너무 다르게 자라서 1000 명 규모의 여론 조사는 웃기지 않을 것 같습니다. 전체 구역을 평균 <1 인으로 어떻게 요약 할 수 있습니까?

  2. 사람들은 일반적으로 의학에 대한 신체의 반응을 바꿀 수 없지만 정치에 대한 생각만으로 정치에 대한 의견을 바꿀 수 있습니다. 내가 보는 방식으로, 정치를 다룰 때 의학에서 DNA와 유사한 요인 이 없습니다 . 에서 최고의 나는 상관의 작은 주머니가 있어야 상상 것입니다.

그러나 어쨌든, 이와 같은 여론 조사는 ... 어쨌든 효과가 있습니까? 아니면 적어도 사람들이 생각하는 것 같습니까?
그러나 왜해야합니까? 어쩌면 나는 기본적으로 샘플링을 이해하지 못 합니까? 누군가 설명 할 수 있습니까?
나는 여론 조사를 심각하게 생각할 수는 없지만, 이것에 대해 어느 정도 혼자 인 것처럼 느낍니다 ...


4
"샘플링은 의학 연구에는 분명히 의미가 있습니다. 인간은 모두 비슷한 게놈을 가지고 있다는 선험을 알고 있기 때문입니다."저는 의학적인 배경을 가지고 있지 않지만 실제로 우리의 DNA는 정치적 견해와 다릅니 까? 그렇다면 왜 유전학을 연구하기가 어렵고 왜 우리가 이미 그 유전자를 완전히 이해하지 못했습니까? 만약 당신이 두 명의 임의의 사람들을 취한다면 그들은 같은 정치적 견해와 같은 DNA를 가질 가능성이 더 높다는 것을 확신합니다.

3
@Tim : "두 명의 임의의 사람들을 취하면 같은 정치적 견해와 같은 DNA를 가질 가능성이 더 높아질 것입니다." 얼마나 내기를 원하십니까? google.com/search?q=dna+similarity+between+humans
user541686

2
그러나 이러한 비교를 할 때 0.5 % 차이 가장 중요한 것은 아닌가? 또한 파리와 60 %의 유전자를 공유 하고 있기 때문에 의료 연구를 위해 인간과 파리를 교환 할 수 있다고 생각합니까? 2008 년 오바마 대통령은 미국 대통령 선거에서 53 %의 표를 얻었습니다. 또한 생명을 구할 수 있지만 잠재적으로 위험한 약물 을 연구 할 때 회사 A 대 B에서 생산 한 비누 사용 또는 의견 풀에 대한 선호도에 대한 연구를 할 때 샘플링에 주의 해야한다고 주장합니다 .

2
@ user2338816 : "역사적으로 정확했기 때문에 설득력이 있습니다"는 수학보다는 과학과 비슷합니다. 나는 과학적 근거 (과학이 굴러 가기 때문에)에서 완전히 기꺼이 구입하지만 순수한 수학적인 근거는 아닙니다.
user541686

1
나는 여론 조사가 선거에 효과가 있다는 (주의) 주장에 도전 할 것이다. 나는 선거가 실제 선거 결과에 가깝다는 것을 기억하지 못한다. 실제로 설명 할 수없는 요소가 너무 많습니다. 예를 들어 ~ 60 %의 참석률로 투표에 참여하지 않는 사람보다 투표하지 않는 사람을 샘플링 할 가능성이 거의 있습니다. 설문에 참여하는 것은 투표보다 노력이 적으며 때로는 비용을 지불하기도합니다. 일부 당사자는 다른 사람들보다 훨씬 더 많은 출석률을 보입니다 (공산당과 같은). 모든 샘플링에서 편차와 "결과"를 인용해야합니다.
Luaan

답변:


13

매우 간단한 샘플링 모델을 상상하는 것 같습니다.

샘플링을위한 가장 간단한 모델을 적절하게 간단한 랜덤 샘플링 이라고 합니다. 모집단의 하위 집합을 선택하고 (예 : 무작위로 전화 번호로 전화를 걸어) 투표 방법에 대해 누구에게나 문의하십시오. 487이 클린턴, 463이 트럼프를 말하고 나머지가 당신에게 이상한 답변을한다면, 투표소는 49 %의 유권자가 클린턴을 선호하고 46 %는 트럼프를 선호한다고보고 할 것입니다. 그러나 투표소는 이보다 더 많은 일을합니다. 간단한 랜덤 샘플은 모든 데이터 포인트에 동일한 가중치를 부여합니다. 그러나 표본에 우연히 남성 600 명과 여성 400 명이 포함되어 있다고 가정하면 전체 인구를 대표하지는 않습니다. 그룹의 남성이 한 방향으로 기댈 경우, 여성이 다른 방향으로 기댈 경우 결과가 편향됩니다. 그러나 인구 통계 통계가 매우 좋으므로 가중치를 적용 할 수 있습니다 *가중 반응이 모집단을 더 잘 표현할 수 있도록 여성의 반응을 조금 더 세고 남성의 비율을 조금 더 세는 반응. 설문 조사 기관은 대표가 아닌 샘플을보다 대표적인 것으로 만들 수있는 더 복잡한 계량 모델을 가지고 있습니다.

샘플링 된 반응에 가중치를 부여한다는 아이디어는 통계적으로 확고한 근거가 있지만 가중치에 영향을주는 요소를 선택하는 데 약간의 유연성이 있습니다. 대부분의 여론 조사원은 성별, 연령 및 인종과 같은 인구 통계 학적 요인에 따라 체중을 줄입니다. 이를 감안할 때, 정당 식별 (민주당, 공화당 등)도 포함되어야한다고 생각할 수도 있지만 대부분의 여론 조사 기관은 자신의 가중치에 이를 사용 하지 않는 것으로 나타났습니다 . 덜 유용하게 만드는 방법.

많은 투표소들은 "유권자"사이에 결과를보고합니다. 응답자들은 실제로 여론 조사에 참여할 가능성에 따라 선택되거나 가중치를 적용합니다. 이 모델은 의심 할 여지없이 데이터 중심적이지만 정확한 요소 선택은 약간의 유연성을 허용합니다. 예를 들어, 후보자와 유권자 인종 (또는 성별) 간의 상호 작용을 포함하는 것은 2008 년 또는 2016 년까지는 합리적이지 않았지만 지금은 예측력이 있다고 생각합니다.

이론적으로는 음악적 취향, 눈 색깔 등과 같은 모든 종류의 가중치 요소를 가중치 요소로 포함 할 수 있습니다. 그러나 인구 통계 요소는 다음과 같은 이유로 가중치 요소의 인기있는 선택입니다.

  • 경험적으로는 유권자 행동과 관련이 있습니다. 분명히, 백인 남성을 공화당으로 강제하는 '강철 법'은 없지만 지난 50 년 동안 그들은 경향이 있었다.
    • 인구 값은 잘 알려져 있습니다 (예 : 인구 조사 또는 중요한 기록에서)

그러나 여론 조사자들은 다른 사람들이하는 것과 동일한 뉴스를보고 필요할 경우 가중치 변수를 조정할 수 있습니다.

설문 조사 결과를 설명하기 위해 때때로 호출되는 "퍼지 요인"도 있습니다. 예를 들어, 응답자들은 때때로 "사회적으로 바람직하지 않은"답변을 주저하지 않습니다. 브래들리 효과 ( Bradley Effect) 는 백인 유권자들이 때때로 인종 차별주의를 피하기 위해 소수 민족에 반대하는 백인 후보자들에 대한지지를 과소 평가한다고 주장합니다. 그것은 여론 조사에서 편안하게 이끌었음에도 불구하고 선거를 잃은 아프리카 계 미국인의 후보 후보 톰 브래들리의 이름을 따서 명명되었습니다.

마지막으로, 당신은 누군가의 의견을 묻는 행동이 그것을 바꿀 수 있다는 것이 완전히 정확합니다. 설문 조사 회사는 중립적 인 방법으로 질문을 작성하려고합니다. 가능한 응답 순서와 관련된 문제를 피하기 위해 응시자의 이름이 무작위로 나열 될 수 있습니다. 질문의 여러 버전도 때때로 서로에 대해 테스트됩니다. 이 효과는 또한 푸시 폴 에서 악의적 인 목적으로 악용 될 수 있는데, 여기서 면접관은 실제로 응답 수집에 관심이 없지만 그에 영향을 미칩니다. 예를 들어, 푸시 여론 조사는 "[성명 자 A]가 아동 성추행 자라고보고 된 경우에도 투표 하시겠습니까?"라고 물을 수 있습니다.


* 또한 500 명의 남성과 500 명의 여성을 포함하여 샘플에 대한 명확한 목표를 설정할 수도 있습니다. 이것을 계층화 샘플링 이라고합니다. 모집단은 여러 그룹으로 계층화되고 각 그룹은 무작위로 샘플링됩니다. 실제로,이 설문 조사는 자주 실시되지 않습니다. 왜냐하면 당신은 많은 철저한 그룹 (예 : Urban Texas에서 18-24 세의 대학 교육을받은 남자)으로 계층화해야하기 때문입니다.


2
나는 확실히 그들이 단순 무작위 표본 추출을 수행하지 않을 이해하지만, 내 질문은 그들이 무엇을하는지 여부에 관한 것입니다 되는 일을하는 것은 그냥 있기 때문에 단지 좋은 일이 자신의 가정 (즉 합리적인하지만 주관적인 직감) 가정은 통계적으로도, 또는 여부를 올바른지 정당한. 다른 답변에 대한 내 의견은 여기를 참조 하십시오 .
user541686

3
둘 다 생각합니다. 표본에 가중치를 부여하는 것이 통계적으로 올바른 일이지만 가중치에 어떤 요소를 넣을지 선택하는 방법에 유연성이 있습니다. 예를 들어 인종, 성별 및 교육이 모두 유용하지만 유권자 후보와 관련이 있기 때문에 당사자 식별이 종종 좋지 않은 것으로 나타났습니다 (예 : theguardian.com/commentisfree/2012/sep/27/… ). 선택.
매트 크라우스

1
마찬가지로 가중치에는 응답자가 투표 할 가능성에 대한 추정치가 포함되기도합니다. 젊은이들은 많은 소음을 내지 만 항상 나타나지는 않습니다. 노인들은 집회에 거의 참석하지 않지만 여론 조사에서 확실하게 나타났습니다. 이것은 과거 데이터로부터 추정 될 수 있지만 (투표권이 공개 된 경우도 있음) 2008 년 아프리카 계 미국인과 2016 년 여성을 위해 일부 장소가 조정 된 곳을 상상할 수 있습니다.
Matt Krause

감사! 좋은 수 있습니다 너무 당신의 대답이 "유연성"을 언급 : 1
user541686

10

"많은 수의 법칙"이라고 불리는 수학적 정리가 있습니다. 동전이 나올 확률을 결정한다고 상상해보십시오. 동전 뒤집기의 "인구"는 무한대 – 미국의 300,000,000 명보다 훨씬 큽니다. 그러나 많은 수의 법칙에 따르면, 동전을 더 많이 낼수록 견적이 더 정확 해집니다.

이상적인 여론 조사 : 여론 조사에서 여론 조사원은 무작위로 미국 인구 조사에서 이름을 선택하고 사람들이 사는 곳을 찾은 다음 문을 두드리게됩니다. 그 사람이 투표를 계획하고 있다고 말하면, 투표소는 투표 할 사람에게 질문하고 답변을 기록합니다. 이와 같은 폴링은 수학적으로 작동하도록 보장되며 주어진 신뢰 수준에 대한 측정 오류의 양을 쉽게 계산할 수 있습니다 .

오류의 의미는 다음과 같습니다. 여론 조사에 따르면 후보 Awesome McPerfect가 52 %의 확률로 이길 확률이 98 %이고 98 %의 신뢰도를 가진 3 %의 오류가 있다고 가정합니다. 즉, Awesome McPerfect 후보를 선호하는 유권자의 실제 비율이 49 %와 55 % 사이임을 확신 할 수 있습니다.

오차 및 신뢰에 대한 참고 사항 주어진 표본 크기에 대해 확신이 많을수록 오차가 커집니다. 생각해보십시오-최고 후보를 지원하는 실제 비율이 0 %에서 100 % 사이 (최대 오류 가능성)임을 100 % 확신하고, 최고 후보를 지원하는 실제 비율이 정확히 52.0932840985028390984308 % 임을 100 % 확신합니다 (제로 오류). 신뢰도가 높을수록 오류가 많고 신뢰도가 낮을수록 오류가 적습니다. 그러나 신뢰와 오류의 관계는 선형 이 아닙니다 ! ( https://en.wikipedia.org/wiki/Confidence_interval 참조 )

실세계의 여론 조사 : 헬리콥터가 전국 각지로 나가서 무작위로 사람들의 문을 두드리는 것은 비용이 많이 들기 때문에 (나는 그런 일이 일어나는 것을보고 싶습니다. 자금 지원을 고려하십시오) 실제 설문 조사는 더 복잡합니다. 보다 일반적인 전략 중 하나 인 랜덤 유권자를 불러서 누가 투표 할 것인지 묻는 것입니다. 좋은 전략이지만 잘 알려진 실패가 있습니다.

  1. 사람들은 종종 전화를받지 않고 설문 조사에 응답하지 않기로 선택합니다 (예 : 저)
  2. 일부 인구 통계에 유선 전화가있을 가능성이 높습니다 (예 : 유권자)
  3. 일부 인구 통계는 여론 조사자 (예 : 유권자)에 더 잘 반응합니다

인구 통계마다 다른 방식으로 투표하기 때문에 여론 조사원은 원시 데이터의 차이 (전화 응답자에 따라 결정)와 실제 선거 결과를 관리하기 위해 최선을 다해야합니다. 예를 들어, 전화를받은 사람의 10 %가 히스패닉이지만 지난 선거에서 유권자의 30 %가 히스패닉 인 경우 설문 조사에서 히스패닉 유권자에게 3 배의 가중치를 부여 할 것입니다. 전화를받은 사람의 50 %가 60 세 이상이지만 지난 선거에서 투표 한 사람의 30 % 만 60 세 이상인 경우, 응답 한 고령 유권자에게 가중치를 줄 것입니다. 완벽하지는 않지만 인상적인 예측의 위업으로 이어질 수 있습니다 (Nate Silver는 통계를 사용하여 2012 년 선거에서 50 개 주 각각의 결과를 정확하게 예측했습니다.

현명한주의 사항 : 여론 조사원은 과거에 일이 어떻게 진행되었는지에 따라 최선의 예측을합니다. 일반적으로 말하자면 , 일이 과거와 똑같이 작동하거나 적어도 최근 과거 (가장 중점을 둔)가 현재와 비슷할 정도로 변화가 느립니다. 그러나 때때로 유권자에 급격한 변화가 있으며 문제가 발생합니다. 어쩌면 트럼프 유권자는 일반 유권자보다 전화에 응답 할 가능성이 약간 낮을 수 있으며 인구 통계별 가중치는이를 설명하지 않습니다. 아니면 아마도 힐러리를 압도적으로지지하는 젊은이들이 더 많을 수도 있습니다모델이 예측 한 것보다 전화에 응답하지 않을 가능성이 높으며 전화에 응답하는 사람은 공화당 일 가능성이 높습니다. 또는 아마도 둘의 반대가 맞습니다. 우리는 모른다. 이와 같은 것은 일반적으로 수집 된 인구 통계에 나타나지 않는 숨겨진 변수입니다.

우리 임의의 문을 두드리기 위해 여론 조사원을 보냈는지 알 것입니다.


3
나는 그 대답에 감사하지만, 내가 묻고 자하는 질문과 나의 배경에 대해 약간 기초적이다 ( 당신이 알아 차 렸는지 확실하지 않지만, 확률 / 통계의 기초에 정확히 새로운 것은 아니다 ); 나는 내 질문에 대한 대답이 당신만큼 기본적이라고 생각하지 않습니다. 예를 들어 : 이유 : 많은 수의 고전적인 법에 대한 가정은 우리가 동일한 분포와 확률 변수가 ...하지만 정치적 맥락에서 이에 대한 정당성을보고 실패한다는 것입니다 해야 당신이 내 투표와 당신에 넣어 배포 될 전혀 동일 합니까?
user541686

또한, 많은 수의 법칙이 가정이 만족 되더라도 정당화하려고하는 것을 정당화 할 수조차 없다고 확신합니다. 문제는 많은 수의 법칙이 실제로 다루지 않는 표본 크기에 관한 것입니다 (적어도 제안한 방식으로는 그렇지 않습니다). 우리는 여기서 평균의 수렴뿐만 아니라 분산 또는 수렴 속도에 대한 개념이 필요합니다. 아마도 당신은 많은 수의 법칙보다는 중앙 한계 정리를 불러 일으켰을 것입니까? (이것은 아마도
무뚝뚝하기

2
배포는 개별 투표에 적용되지 않습니다. 개인 투표는 무작위가 아닙니다. 그들은 전체 인구의 투표 행동에 적용됩니다. 항아리에서 색깔 공을 그리는 것과 같습니다. 각 공은 빨간색 또는 파란색으로 미리 결정되어 있지만 각 색을 그릴 확률이 있으므로 샘플을 기준으로 특정 공의 색을 그릴 가능성에 대한 분포를 구성 할 수 있습니다 에있는 공의 공
J. Antonio Perez

1
사람들과의 정치 이외의 것을 살펴 보자. 누군가가 좋아하는 아이스크림 맛은 정치적 견해만큼이나 다릅니다. 그것은 친구들의 선호도, 어린 시절의 추억, 아이스크림 가게에서의 좋은 경험 또는 나쁜 경험을 좋아할 수 있습니다. 아마도 그들은 아내 나 남편과 처음 데이트 할 때 한 가지 맛을 좋아할 것입니다. 아마 그들은 그들의 전을 상기시키기 때문에 풍미를 싫어한다. 그러나 미국에서 사람들을 무작위로 조사했다면 미국에서 가장 좋아하는 아이스크림 맛을 판단 할 수 있다는 데 동의하지 않습니까?
J. Antonio Perez

1
"무작위 변수"는 투표자에 의해 선호되는 사람을 선택하는 사람입니다. 개인의 선호는 무작위가 아닙니다. 설문 조사자가 선택한 개인은 무작위입니다.
J. Antonio Perez

7

첫째, 이것은 주요 요점을 제외하고는 언급 할 가치가 있습니다. 의학적 시험에서 매년 아픈 사람 10000 명에게 줄 수있는 약을 테스트하는 1000 명의 사람들이있을 수 있습니다. 당신은 그것을보고 "그것이 인구의 10 %에 대해 테스트되고있다"고 생각할 것입니다. 사실 인구는 10000 명이 아니고 모든 미래의 환자이므로 인구 규모는 무한합니다. 1000 명의 사람들은 약물의 무한한 잠재적 사용자에 비해 크지 않지만 이러한 종류의 연구는 효과가 있습니다. 모집단의 10 %, 1 % 또는 0.1 %를 테스트하는지 여부는 중요하지 않습니다. 중요한 것은 표본의 크기가 모집단에 비해 크지 않은 절대 크기입니다.

다음으로, 주요 요점은 사람들의 투표에 영향을 줄 수있는 많은 혼란스러운 변수가 있다는 것입니다. 캘리포니아의 22000 개 지구를 22000 개의 변수와 같이 취급하고 있지만 실제로는 소수의 변수 (당신이 언급 한 소득 및 교육) 일뿐입니다. 모든 학군의 대표 표본이 필요하지 않으며 소득, 교육 등으로 인한 변동을 포괄 할 수있는 충분한 표본이 필요합니다.

kknnσ2nkkσ2n

kn

편집하다:

위의 공식은 각 혼란 변수가 똑같이 중요하다고 가정했습니다. 결과에 차이를 추가 할 수있는 수백 가지를 고려하려면이 가정이 유효하지 않습니다 (예 : 트위터 사용자가 한 후보자를 더 지원할 수도 있지만 트위터 사용이 성별만큼 중요하지 않다는 것을 알고 있습니다).

σ20.9σ20.92σ2n=0σ20.9n=10σ2

n10σ2n0.9


답변 해주셔서 감사합니다! 첫 번째 점에 관해서는 그것이 사실이라고 생각하지만, 제 요점은 결과가 매우 유사한 강제 요인 (DNA 등)을 가지고 있기 때문에 인구의 크기가 중요하지 않다는 것입니다 모든 샘플. 그러나 두 번째 것에 관해서는 : 실제로는 몇 가지 변수 가 있을 수 있지만, 그 가정을 수학적으로 정당화하고 나중에 사용하는 유일한 방법은 실제로 많은 사람들을 먼저 샘플링하고 시연하는 것입니다. 그렇지 않으면 결론은 더 이상 통계적으로 엄격하거나 정당화되지 않습니다.
541686

우리는 실험에 의해 연령, 성별, 소득 및 기타 몇 가지가 사람들의 투표 패턴의 핵심 요소이며 일반 지식을 통해서도 이것을 알고 있습니다. 투표에 영향을 미치는 수백 가지의 다른 작은 요소가있을 수 있으며 이론 상으로는 중요한 내용을 추가 할 수 있지만 일반적인 지식은 중요하지 않다고 알려줍니다. 이 시점에서이 모델은 엄격하게 정당화되지는 않지만 "금발 인이 사람들을 클린턴에게 투표하게합니까? 가발을 착용하면 사람들이 트럼프에 투표하게합니까?"와 같은 사소한 요소를 테스트 할 사람은 누구입니까?

"하지만 누가 [...]와 같은 사소한 요소를 테스트 할 것인가 ?하지만 이것이 문제입니다. "이 있기 때문에 / 우리가 실질적으로 할 수있는 최선이기 때문에 대답이 너무 일어나는 일에가 등 / 그렇지 않으면 비용이 많이 드는이기 때문에 /."그 질문에 대한 완벽하게 좋은 대답이다 "왜 그들이 폴링 십만명은? "하지만 1,000 명을 통계적으로 정당화 할 수있는 방법"에 대한 답은 아닙니다. 이것이 Politics.SE가 아닌 Stats.SE에서 이것을 요구하는 이유입니다. 더 많은 샘플이 실용적이지 않든 상관 없습니다. 내 질문은 사람들이 현재 방법이 통계적으로 정당하다고 생각하는 이유입니다.
541686

마지막 코멘트에서 문장의 첫 번째 부부는 연구의 종류가 대규모로 수행되었다는 것을 말한다면, 비록 합리적인 해답이 될 것 같다 (~ 수십만의 경우 사람들이 아니 수백만) 것을 는 IS 우리의 가정의 기초. 그렇다면 내 질문의 요점을 다루기 때문에 답변에 추가해야한다고 생각합니다 (이상적으로는 인용문이 있지만 조금 탄젠트 일 수는 있지만 정치가 아닙니다). ).
541686

사소한 요소를 테스트하는 것은 비현실적이지만 수학적으로 관련이있는 것이 맞습니다. 왜 우리가 결과에 영향을 미치는 수백 가지의 작은 요소에 대해 걱정하지 않는지에 대한 몇 가지 추론을 제공하기 위해 답변을 편집했습니다. 나는 당신이 주요 요인의 영향에 관한 연구를 찾을 수 있다고 확신합니다.
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.