의존적 관찰을위한 PCA의 특성

우리는 일반적으로 PCA를 사례가 iid로 가정되는 데이터의 차원 축소 기술로 사용합니다.

질문 : 종속적이지 않은 IId 데이터에 PCA를 적용 할 때의 일반적인 뉘앙스는 무엇입니까? iid 데이터를 보유하고있는 PCA의 어떤 좋은 / 유용한 속성이 손상되거나 완전히 손실됩니까?

예를 들어, 데이터는 다변량 시계열 일 수 있으며,이 경우 자기 상관 또는 자기 회귀 조건부 이분산성 (ARCH)이 예상 될 수 있습니다.

시계열 데이터에 PCA를 적용하는 것과 관련된 몇 가지 관련 질문, 예를 들어 1 , 2 , 3 , 4 가 이전에 요청 되었지만 더 일반적이고 포괄적 인 답변을 찾고 있습니다 (각 개별 지점에서 크게 확장 할 필요가 없음).

편집 : @ttnphns가 지적했듯이 PCA 자체 는 추론 분석이 아닙니다. 그러나 PCA의 일반화 성능, 즉 샘플 PCA의 인구 집단에 초점을 맞추는 데 관심이있을 수 있습니다. 예를 작성로 (2008) Nadler :

주어진 데이터가 (일반적으로 알려지지 않은) 분포에서 나온 유한하고 랜덤 한 샘플이라고 가정하면, 흥미로운 이론적이고 실용적인 질문은 유한 데이터에서 계산 된 샘플 PCA 결과와 기본 모집단 모델의 결과 사이의 관계입니다.

참고 문헌 :

나 들러, 보아스 "주성분 분석을위한 유한 한 샘플 근사 결과 : 매트릭스 교란 접근법." 통계의 연대기 (2008) : 2791-2817.

— 리차드 하디
소스

참고로 PCA 자체 는 추론 분석이 아닙니다. 다변량 데이터 세트의 변환입니다. 그 핵심은 단지 svd 또는 고유 분해입니다. 따라서 관찰 독립성 가정을하지 않습니다. PCA 를 통계 도구로 사용하여 모집단의 표본을 분석 할 때 가정이 발생합니다 . 그러나 이들은 PCA의 가정이 아닙니다. 예를 들어, PCA가 데이터를 줄이기 위해 정당화되는지 결정하기 위해 구 형성을 테스트하려면 독립성이 필요하며, 테스트는 "PCA 내"가정 테스트처럼 보일 수 있지만 실제로는 "외부"테스트입니다.

— ttnphns

@ttnphns, 아주 좋은 지적, 감사합니다. 내 게시물을 편집 할 수있는 깔끔한 방법이 있으면 언제든지 문의하십시오. 나는 그것에 대해서도 스스로 생각할 것이다.

— Richard Hardy

Richard, 귀하의 질문은 훌륭하고 중요합니다 (+1). 어쩌면 "우리는 일반적으로 PCA를 사례가 iid 인 것으로 추정되는 데이터의 차원 축소로 사용합니다"와 같은 방식으로 약간 다시 말하고 싶을 것입니다. 점) 지연-상호 의존적입니까?

— ttnphns

@amoeba, 맞아. 그러나 우리는 PC의 로딩을 얻는 것을 멈추지 않습니다. 일반적으로 PCA를 따르는 단계에서 비 IId'ness에서 무엇을 알고 있어야합니까? 답변이 질문보다 더 좋을 수 있기를 바랍니다 (현재 공식). 느슨하게 / 창의적으로 보면, 아마도 좋은 점을 생각 해낼 수있을 것입니다.

— Richard Hardy

일반 PCA는 "수평"연관 (예 : 열 간) 만 고려하고 "수직"(사례 간)을 무시합니다. 열 순서의 순서를 뒤섞는 경우 열의 공분산 행렬은 동일합니다. 이것이 "사례 연립 관계에 대한 가정이 없다"또는 "독립적 인 사례에 대한 가정이 이루어짐"으로 불릴 수 있는지 여부는 맛의 문제입니다. iid 가정은 데이터 분석 의 기본값 이므로 PCA와 같이 사례 순서에 특별한주의를 기울이지 않는 방법 은 iid 가정에 대한 "자동 지원"으로 간주 될 수 있습니다.

— ttnphns

아마도 시간 구성 요소를 샘플링 된 지점에 추가 기능으로 추가 할 수 있으며 이제 iid입니까? 기본적으로 원래 데이터 포인트는 정시에 조건부입니다.

p (x_{i} ∣ t_{i}) \neq p (x_{i})

$p(\mathbf{x}_i \mid t_i) \ne p(\mathbf{x}_i)$

그러나 하면 다음과 같은 결과가 나타납니다. $\mathbf{x}_i' = \{\mathbf{x}_i, t_i\}$

p (x_{i}^{'} ∣ t_{i}) = p (x_{i}^{'})

$p(\mathbf{x}'_i \mid t_i) = p(\mathbf{x}'_i)$

... 그리고 데이터 샘플은 이제 서로 독립적입니다.

실제로, 각 데이터 포인트에 시간을 기능으로 포함시킴으로써 PCA는 하나의 구성 요소가 단순히 시간 기능 축을 따라 가리킬 수 있습니다. 그러나 기능이 시간 기능과 상관 된 경우 구성 요소는 시간 기능뿐만 아니라 이러한 기능 중 하나 이상으로 구성 될 수 있습니다.

— 휴 퍼킨스
소스

답변 해주셔서 감사합니다. 그것은 시간이 선형으로 들어가는 매우 특별한 경우입니다. 예를 들어, 시간 자체가 기능으로서 역할을하지 않는 자기 상관과 같은보다 광범위한 현상이 있습니다.

— Richard Hardy

x_{t}

$x_t$

θ

$\theta$

x_{t - 1}

$x_{t-1}$

x_{t}

$x_t$

x_{t - 1}

$x_{t-1}$

θ

$\theta$

x_{t - 1}

$x_{t-1}$

x_{t - 1}

$x_{t-1}$