그룹을 분리하는 PCA 구성 요소 선택

PCA를 사용하여 다변량 데이터를 진단하는 데 자주 사용했습니다 (수십만 개의 변수와 수십 또는 수백 개의 샘플이있는 omics 데이터). 데이터는 종종 일부 그룹을 정의하는 몇 가지 범주 형 독립 변수를 사용한 실험에서 나온 것이므로 관심 그룹 사이의 분리를 나타내는 요소를 찾기 전에 종종 몇 가지 구성 요소를 거쳐야합니다. 나는 그러한 차별적 인 구성 요소를 찾는 다소 원시적 인 방법을 생각해 냈습니다.

1. 이것이 어느 정도 합리적이고 정당한지, 그리고
2. 이를 달성하는 더 좋은 방법이 있는지 여부.

이것은 탐색 적입니다. 다른 사람을 설득하기 전에 자신을 설득하고 싶습니다. 관심 그룹 (예 : 제어 대 치료)을 명확하게 구분하는 구성 요소가있는 경우 응답 분산의 작은 부분을 담당하더라도 감독 된 기계의 결과보다 더 신뢰할 수 있습니다. 배우기.

여기 내 접근 방식이 있습니다. R에서 pca3d의 "metabo"예제 데이터 세트를 사용하겠습니다.

아이디어는 독립 변수에 의해 각 성분의 분산이 얼마나 많은지를 설명하는 것입니다. 이를 위해 각 구성 요소에 대한 간단한 모델을 계산하고 를 메트릭으로 사용하여 구성 요소를 "가장 흥미로운"에서 "가장 흥미로운 것"으로 정렬합니다.$R^2$

require( pca3d )
# data on metabolic profiles of TB patients and controls
data( metabo )
# first column is the independent variable
pca <- prcomp( metabo[,-1], scale.= T ) 

# create a model for each component
lm.m <- lm( pca$x ~ metabo[,1] )
lm.s <- summary( lm.m )
lm.r2 <- sapply( lm.s, function( x ) x$r.squared )
plot( lm.r2, type= "l" )
text( 1:length( lm.r2 ), lm.r2, 1:length( lm.r2 ), pos= 3 )

결과는 다음과 같습니다. 그림은의 독립 변수로 설명 된 각 성분의 분산 백분율을 보여줍니다 metabo[,1].

로 구성 요소를 정렬하여 표시 할 구성 요소 를 찾을 수 있습니다 . 처음 세 구성 요소는 2, 1 및 7입니다.$r^2$order( lm.r2, decreasing= TRUE )

pca3d( pca, components= c( 1, 2, 7 ), group= metabo[,1] )

줄거리는 다음과 같습니다.

(빨간색과 녹색 범주는 환자가 아닌 두 그룹의 피험자이며, 구분할 수 없을 것으로 예상됩니다.)

내 질문을 재구성하기 위해

1. 이 방법이 당신에게 의미가 있습니까? 내 문제는 데이터 준설처럼 너무 많이 보인다는 것입니다. 또한 직관적으로 테이블을 돌리고 독립 변수의 분산 부분이 각 변수로 설명되는 부분을 물어봐야한다고 생각합니다. 마지막으로, 나는 바퀴를 재발견하고 있다고 확신합니다.
2. 더 좋은 것이 있습니까?

이 단계에서 부분 최소 제곱 또는 이와 유사한 것으로 전환하고 싶지는 않습니다. 내 분류의 맥락에서 PCA를 진단하고 싶습니다.

귀하의 질문 # 1에 대한 답변은 그렇습니다. 귀하의 솔루션은 데이터 준설에 해당합니다. 귀하의 질문 # 2에 대한 답변은 그렇습니다. 문헌에는 우수한 방법이 있습니다.

접근 방식의 주요 문제는 고차원 데이터 문제, 즉 때 발생하는 문제를 해결하지 않는다는 것 입니다. 귀하의 솔루션은 매우 임의적이며 이론적 근거가 없습니다. 아래에서 적절한 방법을 찾는 데 도움이 될 수있는 문헌을 제시하겠습니다.$n << p$

독립 변수와 종속 변수를 교체하여 다변량 ( 다중 ) 회귀 분석 과 달리 큰 다변량을 생성 한 것을 제외하고는 주성분 회귀 분석과 유사한 분석을 실행하고 있습니다 . 다변량 회귀 분석을 위해서는 표본 크기가 종속 변수의 수보다 커야하며, 이는 예제에서 철저히 위반하는 요구 사항입니다.

데이터에서 PCA를 실행 한 다음 다변량 회귀를 사용하려는 경우 적절한 방법을 사용해야합니다. 예를 들어 MRCE 및 관련 방법을 살펴보십시오 [1].

그러나 몇 가지 당황스러운 의견에도 불구하고 현재 제시된 분석의 모든 목표는 대규모 연속 변수 세트 (metabo [,-1])와 단일 범주 변수 (metabo [ ,1]). PCA는이를 달성하기위한 좋지 않은 방법입니다. 고차원 적 경우에는이 문제에 대한 두 가지 일반적인 해결책이 있습니다. 첫째, 희소성을 가정하는 솔루션과 요인 구조를 가정하는 솔루션입니다.

희소성 기반 솔루션은 일반적으로 매우 작은 비율의 변수 만 실제로 관심있는 범주 형 변수와 관련이 있다고 가정하고이 작은 하위 집합을 찾으려고 시도합니다. 예를 들어 DALASS [2]를 참조하십시오. 요인 구조 기반 방법은 판별 변수가 범주 형 변수와 실제 관계가있는 기본 잠재 변수의 표현이라고 가정합니다. 이 클래스의 메소드의 예는 DLDA입니다 [3].

내가주의 하지 반드시 내가 당신의 데이터에 대해 언급 한 모든 방법을 추천; 적절한 방법을 선택할 때 문제에 대한 목표와 사전 지식을 신중하게 고려해야합니다.

[1] Rothman, Levina, Zhu (2010). 공분산 추정을 통한 스파 스 다변량 회귀. 전산 및 그래픽 통계 저널, 19 권, 4 호, 947 ~ 962 쪽.

[2] Nickolay T. Trendafilov, Ian T. Jolliffe, DALASS : LASSO, 전산 통계 및 데이터 분석, 제 51 권, 2007 년 5 월 1 일, 페이지 3718-3736을 통한 판별 분석의 변수 선택.

[3] 유양 (2001). 얼굴 인식 응용 프로그램이있는 고차원 데이터를위한 직접 LDA 알고리즘. 패턴 인식 34, 2067-2070.

@ahfoss는 이미 PCA와 유사하게 LDA를 지적했습니다. 실제로이 두 방법은 서로 관련이 있으며 PLS 와도 관련이 있습니다.

nature of dependent variable (for supervised)     unsupervised    supervised
or structure of data (unsupervised)
continuous                                        PCA             PLS
factor/groups/classes                                             LDA

PCA는 점수의 분산-공분산 행렬이 가되도록 데이터를 투영 합니다. LDA는 비슷한 프로젝션을 수행하지만 전체 데이터 세트 의 분산 공분산 행렬 대신 풀링 된 클래스 내 분산 공분산 행렬은 됩니다.$\mathbf I$$\mathbf I$

@ahfoss도 말했듯이, 일반적인 LDA는 적합하지 않습니다 . 그러나 PLS-LDA는이를 처리 할 수있는 방법입니다 (예 : Barker, M. & Rayens, W .: 차별을위한 부분 최소 제곱, J Chemom, 17, 166-173 (2003) 참조). DOI : 10.1002 / cem.785 (이 백서에서는 PLS와 LDA의 관계에 대해서도 설명합니다).$n \ll p$

PLS는 LASSO와 같은 정규화로 볼 수 있으며 스파 스 PLS도 사용할 수 있습니다 (사용하지는 않았지만 데이터는 희소성을 가정하지 않는 일반 PLS에 더 적합합니다). 다양한 정규화 방법에 대한 자세한 내용 은 통계 학습 요소를 참조하십시오 .

PLS-LDA를 수행하는 한 가지 좋은 특징은 두 단계 모두에 동일한 센터링을 사용할 경우 최종 모델을 이중선 형태로 작성할 수 있다는 것입니다. 따라서 케이스가 더 많고 경우 계산할 수있는 LDA 모델을 해석 할 때와 같은 방식으로 모델을 해석 할 수 있습니다 . PCA를 수행해야하는 경우 PCA-LDA에도 적용됩니다.$n \gg p$

PLS 점수 데이터 행렬 PLS 가중치 이고 일반적인 LDA의 경우 점수 데이터 매트릭스 LDA 계수 입니다.$\mathbf T =$$\mathbf X \times$$\mathbf W$
$\mathbf L =$$\mathbf X\times$$\mathbf B$

그런 다음 PLS (X-) 점수 공간에서 LDA를 수행하면 다음과 같이 나타납니다. 대시는 이러한 LDA 점수 ( )가 정규화없이 획득 한 LDA 점수와 (약간) 다를 수 있으며 계수 . 는 원래 데이터 공간이 아닌 PLS 점수 공간에 적용되므로 와 매우 다릅니다 .
$\mathbf L'^{(n \times k - 1)} = \mathbf T^{(n \times m)} \mathbf B'^{(m \times k - 1)}$
$\phantom{\mathbf L^{(n \times k - 1)}} = \mathbf X^{(n \times p)} \mathbf W^{(p \times m)} \mathbf B'^{(m \times k - 1)}$
$\phantom{\mathbf L^{(n \times k - 1)}} = \mathbf X^{(n \times p)} \mathbf B''^{(p \times k - 1)}$
B ' B ' $\mathbf L'$$\mathbf B''$$\mathbf B'$$\mathbf B$

실용 참고 사항 : R에서 근무하는 경우 PLS-LDA 및 PCA-LDA 모델을 제공하는 패키지가 개발 중입니다. 시도해보고 싶으면 알려주십시오.

데이터 준설을 피하려면 독립적 인 데이터로 최종 모델의 유효성을 검사해야합니다 (= 성능 측정).

여기서 독립적이라는 것은이 사례 (환자?)가 어떤 식 으로든 모델 피팅에 기여하지 않았 음을 의미합니다. 특히,

• 센터링 또는 표준화와 같은 여러 사례를 포함하는 전처리에 참여하지 않았습니다.
• PCA / PLS / ... 계산에 들어 가지 않았습니다.
• 하이퍼 파라미터 추정에는 사용되지 않았습니다.

사례가 거의 없으므로 리샘플링 전략이 적합합니다. 이 상황에서는 하이퍼 파라미터 최적화를위한 훈련 데이터의 두 번째 내부 분할을 피하기 위해 외부 지식으로 하이퍼 파라미터 (PC 또는 PLS 잠재 변수 수 또는 LASSO 바운드 수와 같은)를 수정하는 것이 가장 좋습니다.