모집단 간의 차이 조사

우리는 두 집단에서 샘플을 가지고 말 : A와 B. 이 모집단이 개인으로 구성되어 있다고 가정하고 특성 측면에서 개인을 설명하기로 결정했습니다. 이러한 기능 중 일부는 범주 형 (예 : 작동하도록 운전합니까?)이고 일부는 숫자 (예 : 높이)입니다. 이러한 기능을 합니다. 우리는 수백 가지 기능 (예 : n = 200)을 수집합니다. 모든 개인에게 오류나 소음이없는 단순성을 가정 해 봅시다.$X_1 \ldots X_n$

우리는 두 집단이 다르다는 가설을 세웁니다. 우리의 목표는 다음 두 가지 질문에 답하는 것입니다.

1. 그들은 실제로 크게 다른가?
2. 그들 사이의 차이점은 무엇입니까?

의사 결정 트리 (예 : 임의 포리스트) 및 선형 회귀 분석과 같은 방법이 도움이 될 수 있습니다. 예를 들어 랜덤 포레스트 또는 선형 회귀 분석에서 적합 계수의 중요성을 살펴보고 이러한 그룹을 구별 할 수있는 것을 이해하고 특성과 모집단 간의 관계를 탐색 할 수 있습니다.

이 길을 가기 전에 여기에 내 옵션에 대한 이해가 필요합니다. 좋고 현대적인 것과 나쁜 연습이 무엇입니까? 내 목표는 예측 자체가 아니라 그룹 간의 중요한 차이점을 테스트하고 찾는 것입니다.

이 문제를 해결하기위한 원칙적인 접근 방법 은 무엇입니까 ?

내가 가진 몇 가지 우려 사항은 다음과 같습니다.

• 선형 회귀 분석과 같은 방법이 완전히 대답하지 못할 수도 있습니다 (2). 예를 들어 단일 적합은 일부 차이점을 찾는 데 도움이 될 수 있지만 모든 중요한 차이점은 아닙니다 . 예를 들어, 다중 공선 성은 모든 기능이 그룹에 따라 (최소한 단일 적합에서) 어떻게 다른지 찾지 못하게 할 수 있습니다. 같은 이유로, ANOVA는 (2)에 대한 완전한 답변을 제공 할 수 없을 것으로 기대합니다.

• 예측 접근법이 어떻게 대답 할 것인지는 명확하지 않습니다 (1). 예를 들어 어떤 분류 / 예측 손실 함수를 최소화해야합니까? 그리고 일단 적합 해지면 그룹이 크게 다른지 여부를 어떻게 테스트합니까? 마지막으로, 나는 (1)에 대한 답변이 내가 사용하는 특정 분류 모델 세트에 달려 있다고 걱정합니다.

다음과 같이 문제를 생각해 봅시다.

말 및 모집단 서 진 변수이다 : 수단 제 인구, 수단은 제 인구. 귀무 가설은 몇 가지 동등한 방법으로 표현 될 수 있습니다.$X=(X_1,X_2,..X_n)$$Y$$Y=0$$Y=1$

• $H_0$ : 인구가 같다
• $H_0$ : 분배 주어진 의 분포와 동일한 주어진$X$$Y=0$$X$$Y=1$
• $H_0$ : 와 는 독립적입니다$X$$Y$
• $H_0$ : 모든 기능에 대해 로 , 및 독립적$f$$\{0,1\}$$f(X)$$Y$

나는 임의의 숲에 대해 많이 알지 못하지만 과적 합을 피하는 다목적 예측 자로 생각 될 수 있습니다. 우리가 그것들을 꽤 이상화한다면 : 그것은 과적 합없이 와 어떤 종류의 특징 사이의 어떤 종류의 관계를 감지 할 수있는 것입니다 .$Y$$X$

이것을 기반으로 무언가를 시도하는 것이 가능합니다. 원본 데이터 세트를 학습 세트와 테스트 세트로 나눕니다. 그때:

• 훈련 세트 에서 에서 를 예측 하는 임의의 숲 를 훈련시킵니다.$f$$Y$$X$
• 테스트 세트에서 와 사이에 간단한 카이 제곱 독립 테스트 (위험 )를 만듭니다.$\alpha$$f(X)$$Y$

이 테스트는 상당히 보수적입니다. 랜덤 포레스트가 좋지 않은 방법이라면, 벙어리 출력이 최악 일 경우 , 어쨌든 보다 작은 확률로 을 거부 합니다 ( 이 참인 경우). 테스트와 훈련 세트를 사용하기 때문에 과적 합은 문제가되지 않습니다. 그러나 검정의 검정력은 임의 포리스트 방법 (또는 사용 된 예측 변수)의 지능에 직접적으로 의존합니다.$f(X)$$H_0$$\alpha$$H_0$

몇 가지 가능한 예측 변수를 사용할 수 있습니다. 평범한 오래된 로지스틱 회귀 분석, 일부 교차 피처로 로지스틱 회귀 분석, 몇 가지 의사 결정 트리, 임의의 포리스트 ... 그러나 그렇게하려면 를 숫자로 조정해야합니다. "거짓 발견"을 피하기위한 테스트 참조 : 여러 테스트를위한 알파 조정$\alpha$

데이터에서 몇 개의 기능을 사용할 수 있는지 말하지 않습니다. 많은 사람들이 많습니까? 우리는 이들이 동일한 도구, 방법 및 양식을 사용하여 측정 된 모집단간에 동일한 기능이라고 가정 할 수 있습니까? 그렇지 않은 경우 변수 오류 측정 모델이 작동 할 수있는 더 큰 문제 가 있습니다.

@benoitsanchez는 질문 # 1에 답변 한 것으로 보입니다.

Wrt # 2), 나는 RF가 도움이 될지 확신하지 못한다. 한 번에 한 피처에 적용되는 일원 분산 분석과 같은보다 공식적인 모델을 사용하여 피처의 모집단 간 차이에 대한 테스트를 개발할 수 있습니다. 테스트의 규모와 그 중요성에 따라 해당 테스트 결과를 요약하면, 모집단이 기능에 따라 어떻게 다른지에 대한 설명이 가능해집니다. 이것은 당신의 취향, 선호도 및 훈련을 위해 충분히 엄격하지 않을 수있는 독창적이고 임시적 인 휴리스틱 솔루션입니다.

라텍스 타입 표기법에 능숙하지 않은 경우, 이러한 테스트가 어떻게 작동하는지 간단히 설명하겠습니다. 먼저 모든 기능을 한 번에 하나씩 통과하는 매크로 루프를 구성하십시오. 루프의 각 패스와 함께 새로운 기능은 대상에 대한 DV가되고 인구에 대한 더미 변수와 적절한 제어 변수로 구성된 X 가 포함됩니다. 기본 데이터가 모든 분산 분석에 대해 정확히 동일 할뿐만 아니라 각 기능에 동일한 컨트롤이 사용되는지 확인하여 유한 데이터 샘플의 편차로 인한 변동을 제거하십시오. 각 피처의 더미 변수에 대한 F- 검정 값을 집계합니다. 이는 여러 기능을 비교할 수있는 표준화 된 메트릭을 제공합니다. F-시험 장착하는 것이 바람직하다 베타 사람 베타각 개별 기능의 단위 및 표준 개발자로 표현되는 표준화되지 않았습니다.

마지막 의견은 "(1)에 대한 답변이 내가 사용하는 특정 분류 / 회귀 모델에 따라 달라질 수 있다는 점입니다."는 항상 사실입니다. 답변은 사용 된 모델의 기능에 따라 달라질 수 있습니다. 이는 또한 적용된 통계적 모델링의 비결정론 적 특성에 익숙하지 않거나 인정하기 어려운보다 강력하고 이론적이고 고전적으로 훈련 된 통계 학자들 사이에서 일반적으로 관찰되는 불쾌감을 표현한 것입니다. 이러한 증상에 대한 훌륭한 해독제는 Efron과 Hastie의 최근 저서 Computer Age Statistical Inference 입니다. 그들은 솔직하게의, 발견 적 성격에 가까운, 반복을 인정하여, 21의 C에 데이터 과학 및 기계 학습의 시대를 통계 모델링을 가지고 모든오차항을 갖는 모델. 이 관찰에 내재 된 진실을 인식하기 위해 베이지안 일 필요는 없습니다. 그것들은 예를 들어 교차 제품 매트릭스가 뒤집 히지 않거나 일부 pedantic 모델 가정이 충족되지 않을 때 손을 던진 고전적인 20 번째 통계 실습의 엄격한 결정론과 다른 상쾌한 관점입니다.