SVD / PCA에 대한“정규화”변수

우리가 가정 측정 변수 (A_1, A_2, \ ldots 단락, a_N을) , 우리는 수 할 M> N , 측정을 한 후 수행 할 특이 값 분해를 에 대한 가장 높은 분산의 축을 찾을 수있는 결과에 M의 포인트 의 N 차원 공간. ( 참고 : a_i 의 평균을 이미 뺀 것으로 가정 하여 모든 i에 대해 \ langle a_i \ rangle = 0 이라고 가정하십시오 .)$N$$(a_1, a_2, \ldots, a_N)$$M > N$$M$$N$$a_i$$\langle a_i \rangle = 0$$i$

이제 변수 중 하나 이상이 나머지 특성 크기와 상당히 다른 것으로 가정합니다. 예를 들어 $a_1$ 은 10-100 범위의 값을 가질 $10-100$수 있지만 나머지는 $0.1-1$ 입니다. 이것은 $a_1$ 의 축을 향한 가장 높은 분산 축을 매우 많이 기울 입니다.

크기의 차이는 불행히도 측정 단위의 불행한 선택 때문일 수 있습니다 (예 : 킬로미터 대 미터와 같은 물리적 데이터에 대해 이야기하는 경우). 실제로 다른 변수는 완전히 다른 치수 (예 : 무게 대 부피)를 가질 수 있습니다. "비교 가능한"단위를 선택하는 확실한 방법이 없을 수도 있습니다.

질문 : 이 문제를 피하기 위해 데이터를 정규화하는 표준 / 일반적인 방법이 있는지 알고 싶습니다. 나는 새로운 목적을 제시하기보다는 $a_1 - a_N$ 대해 비슷한 크기를 만드는 표준 기술에 더 관심 이 있습니다.

편집 : 하나의 가능성은 표준 편차 또는 유사한 것으로 각 변수를 정규화하는 것입니다. 그러나 다음과 같은 문제가 나타납니다. 데이터를 $N$ 차원 공간 에서 점 구름으로 해석해 봅시다 . 이 포인트 클라우드는 회전 할 수 있으며,이 유형의 정규화는 회전에 따라 SVD 이후에 다른 최종 결과를 제공합니다. (가장 극단적 인 경우 주축과 주축을 정렬하기 위해 데이터를 정확하게 회전한다고 상상해보십시오.)

나는 이것을 할 수있는 회전 불변의 방법은 없을 것으로 기대하지만, 누군가가 특히이 결과에 대한 해석에서주의 사항에 관한 문헌 에서이 문제에 대한 토론을 지적 할 수 있다면 고맙겠습니다.

세 가지 일반적인 정규화는 센터링, 스케일링 및 표준화입니다.

하자 임의의 변수가 될.$X$

중심은

결과 는 입니다.$x^*$$\bar{x^*}=0$

스케일링은

결과 는 입니다.$x^*$$\sum_{i}{{{x_i^*}}^2} = 1$

표준화는 중심화 후 스케일링입니다. 결과 는 및 입니다.$x^*$$\bar{x^*}=0$$\sum_{i}{{{x_i^*}}^2} = 1$

분산이 매우 다른 개별 변수를 갖는 것이 PCA에 문제가 될 수 있습니다. 특히이 차이가 다른 단위 또는 다른 물리적 차원으로 인한 경우에는 매우 옳습니다. 따라서 변수가 모두 동일한 물리적 수량, 동일한 단위 인 경우를 제외하고 공분산 행렬 대신 상관 행렬에 대해 PCA를 수행하는 것이 좋습니다. 여길 봐:

• 상관 관계 또는 공분산에 대한 PCA?

상관 행렬에서 PCA를 수행 하는 것은 분석 전에 모든 변수 를 표준화 한 다음 공분산 행렬에서 PCA를 수행하는 것과 같습니다 . 표준화는 각 변수를 중심으로 한 다음 표준 편차로 나누어서 모든 변수가 단위 분산이되도록합니다. 이것은 모든 장치를 비교할 수 있도록 편리한 "장치 변경"으로 볼 수 있습니다.

변수를 "정규화"하는 더 좋은 방법이 있는지 물어볼 수 있습니다. 예를 들어, 원시 분산이 아닌 강력한 분산 추정치로 나눌 수 있습니다. 이것은 다음 스레드에서 요청되었으며, 다음 논의를 참조하십시오 (확실한 대답이 없었음에도 불구하고).

• PCA를 수행하기 전에 다른 표준화 요소가 아닌 표준 편차로 나누는 이유는 무엇입니까?

마지막으로 표준 편차 (또는 이와 유사한 것)에 의한 정규화가 회전 불변성이 아니라고 걱정했습니다. 글쎄요, 그렇지 않습니다. 그러나 @whuber가 위의 주석에서 언급했듯이 회전 불변 방법은 없습니다 : 개별 변수의 단위 변경 은 회전 불변 연산이 아닙니다 ! 여기서 걱정할 것은 없습니다.

PCA를 적용하기 전의 일반적인 기술은 샘플에서 평균을 빼는 것입니다. 그렇게하지 않으면 첫 번째 고유 벡터가 평균이됩니다. 나는 당신이 그것을했는지 여부를 확신하지 못하지만 그것에 대해 이야기하겠습니다. MATLAB 코드로 말하면 :

clear, clf
clc
%% Let us draw a line
scale = 1;
x = scale .* (1:0.25:5);
y = 1/2*x + 1;

%% and add some noise
y = y + rand(size(y));

%% plot and see
subplot(1,2,1), plot(x, y, '*k')
axis equal

%% Put the data in columns and see what SVD gives
A = [x;y];
[U, S, V] = svd(A);

hold on
plot([mean(x)-U(1,1)*S(1,1) mean(x)+U(1,1)*S(1,1)], ...
     [mean(y)-U(2,1)*S(1,1) mean(y)+U(2,1)*S(1,1)], ...
     ':k');
plot([mean(x)-U(1,2)*S(2,2) mean(x)+U(1,2)*S(2,2)], ...
     [mean(y)-U(2,2)*S(2,2) mean(y)+U(2,2)*S(2,2)], ...
     '-.k');
title('The left singular vectors found directly')

%% Now, subtract the mean and see its effect
A(1,:) = A(1,:) - mean(A(1,:));
A(2,:) = A(2,:) - mean(A(2,:));

[U, S, V] = svd(A);

subplot(1,2,2)
plot(x, y, '*k')
axis equal
hold on
plot([mean(x)-U(1,1)*S(1,1) mean(x)+U(1,1)*S(1,1)], ...
     [mean(y)-U(2,1)*S(1,1) mean(y)+U(2,1)*S(1,1)], ...
     ':k');
plot([mean(x)-U(1,2)*S(2,2) mean(x)+U(1,2)*S(2,2)], ...
     [mean(y)-U(2,2)*S(2,2) mean(y)+U(2,2)*S(2,2)], ...
     '-.k');
title('The left singular vectors found after subtracting mean')

그림에서 알 수 있듯이 (공) 분산을 더 잘 분석하려면 데이터에서 평균을 빼야한다고 생각합니다. 그런 다음 값은 10-100과 0.1-1 사이가 아니지만 평균은 모두 0입니다. 분산은 고유 값 (또는 특이 값의 제곱)으로 나타납니다. 발견 된 고유 벡터는 우리가 그렇지 않은 경우만큼 평균을 빼는 경우에 대한 차원의 스케일에 영향을받지 않습니다. 예를 들어, 나는 당신의 사건에 중요한 평균을 빼는 것을 알려주는 다음을 테스트하고 관찰했습니다. 따라서 문제는 분산이 아니라 변환 차이로 인해 발생할 수 있습니다.

% scale = 0.5, without subtracting mean
U =

-0.5504   -0.8349
-0.8349    0.5504


% scale = 0.5, with subtracting mean
U =

-0.8311   -0.5561
-0.5561    0.8311


% scale = 1, without subtracting mean
U =

-0.7327   -0.6806
-0.6806    0.7327

% scale = 1, with subtracting mean
U =

-0.8464   -0.5325
-0.5325    0.8464


% scale = 100, without subtracting mean
U =

-0.8930   -0.4501
-0.4501    0.8930


% scale = 100, with subtracting mean
U =

-0.8943   -0.4474
-0.4474    0.8943

PCA의 데이터를 정규화하기 위해 다음 공식도 사용되었습니다.

$\text{SC}=100\frac{X-\min(X)}{\max(X)-\min(X)}$

여기서 는 년의 국가 에 대한 해당 지표의 원시 값 이고 는 모든 연도 에 해당 지표에 대한 모든 국가의 모든 원시 값을 설명합니다.$X$$c$$t$$X$