상관 행렬에서 랜덤 변수의 최소 상관 서브 세트

Matlab의 corrcoef () 통해 Pearson의 선형 상관 계수를 사용하여 얻은 상관 행렬 있습니다. 100x100 차원의 상관 행렬, 즉 100 개의 임의 변수에 대한 상관 행렬을 계산했습니다.$A$

이 100 개의 임의 변수 중에서 상관 관계 행렬에 가능한 한 "상관 관계가 거의없는"10 개의 임의 변수를 찾고 싶습니다 ( 측정 할 메트릭과 관련 하여 상관 관계 매트릭스 A 와 상관 관계 매트릭스 B 에 비해 "상관 관계가 더 많은"정량화 참조). 상관 매트릭스에서의 전체 상관). 나는 페어 와이즈 상관에만 관심이있다.

합리적인 시간에 10 개의 랜덤 변수를 찾는 좋은 방법이 있습니까 (예 : $\binom{100}{10}$ 조합 을 시도하고 싶지 않습니다 )? 근사 알고리즘은 정상입니다.

선택 쌍으로 절대 쌍별 상관의 합을 고려해 봅시다. 우리는 따라서 벡터 추구 와 있는 최소화 할 수 어디에.$v\in\{0,1\}^N$$l_1(v)=n$$v'Qv$$Q_{ij}=|A_{ij}|$

Q가 A로 정의 된 양이라고 가정하면 문제가 제한된 2 차 최적화 문제를 해결하는 것으로 줄어 듭니다.

$$v^*=\min\ v'Qv\ s.t.\ l_1(v)=n,\ v_i\in\{0,1\}$$

이것은 다음과 같은 이완을 제안합니다.

$$v^*=\min\ v'Qv\ s.t.\ l_1(v)=n,\ v_i\in[0,1]$$

상용 솔버를 사용하여 쉽게 해결할 수 있습니다. 그러면 결과는 에서 가장 큰 구성 요소로 제공됩니다 .$n$$v^*$

샘플 MATLAB 코드 :

N=100;
n=10;
% Generate random data
A=rand(N,1000);
C=corrcoef(A');
Q=abs((C+C')/2); % make sure it is symmetric
x = cplexqp(Q,zeros(1,N),[],[], ones(1, N),n, zeros(N,1), ones(N,1));
% If you don't use CPLEX, use matlab's default
% x = quadprog(Q,zeros(1,N),[],[], ones(1, N),n, zeros(N,1), ones(N,1));
assert(abs(sum(x)-n)<1e-10);
% Find the n largest values
I=sort(x); 
v=zeros(size(x)); v(x>I(N-n))=1; 
assert(abs(sum(v)-n)<1e-10);
% Make sure we do better than 10K random trials
for i=1:10000
   vc=zeros(size(x)); vc(randperm(N,n))=1;
   assert(sum(vc)==n, 'Wrong l0 norm');
   assert(vc'*Q*vc>v'*Q*v, 'Improves result');
end
% Show results
J=find(v==1);
fprintf('The optimal solution total off-diagonal correlations are %1.3f\n', v'*Q*v-n);
fprintf('The matrix:\n');
C(J,J)

이것은 @ttnphns의 계층 적 클러스터링 아이디어보다 나쁠 수 있습니다. 그러나 방금 증가하는 하위 모듈 목적 함수로 를 사용 하는 논문 에서 방금 발생했습니다 .$\log \det(I + A)$

Vanchinathan, Marfurt, Robelin, Kossman 및 Krause. 대규모 데이터에서 귀중품 검색하기 . KDD 2015. ( doi , arXiv )

그것이 "최소 상관 관계"의 합리적인 척도라고 생각한다면, 그것을 최대화하는 지점을 단순히 반복적으로 선택함으로써 최적 세트의 요소 내에서 얻을 수 있습니다 . 이것은 블록 LU 분해로 효율적으로 수행 할 수 있습니다 . 여기서 는 이미 행렬에있는 항목과의 상관 관계의 벡터입니다.$1-1/e$$v$

$$\begin{align*} \det \begin{bmatrix} I+A & v \\ v^T & 2 \end{bmatrix} &= \det \left( \begin{bmatrix} I & 0 \\ v^T (I+A)^{-1} & 1 \end{bmatrix} \begin{bmatrix} I+A & 0 \\ 0 & 2 - v^T (I+A)^{-1} v \end{bmatrix} \begin{bmatrix} I & (I+A)^{-1} v \\ 0 & 1 \end{bmatrix} \right) \\&= \det \begin{bmatrix} I & 0 \\ v^T (I+A)^{-1} & 1 \end{bmatrix} \det \begin{bmatrix} I+A & 0 \\ 0 & 2 - v^T (I+A)^{-1} v \end{bmatrix} \det \begin{bmatrix} I & (I+A)^{-1} v \\ 0 & 1 \end{bmatrix} \\&= (2 - v^T (I+A)^{-1} v) \det (I+A) \end{align*}$$

그리고 물론 . 여기서 은 의 Cholesky 인수 분해이고 삼각 솔버를 사용합니다. 이것은 입니다. 따라서이 전체 프로세스는 상관 행렬이 이미 계산되었다고 가정 할 때 시간 이 요소에서 을 선택해야합니다. .$v^T (I+A)^{-1} v = \lVert L^{-1} v \rVert^2$$L$$I + A$$O(n^2)$$O( \sum_{k=1}^n N k^2 + k^3) = O( N n^3 )$$n$$N$

"한 쌍의 상관 관계에만 관심 이 있습니다 "라는 의미를 완전히 이해 하지는 못하지만 다음은 도움이 될만한 내용입니다. 상관 상관 행렬의 반전을 사용하십시오. 용어 같다 , 은 IS , X 행렬에서 내장 어디에 번째 열과 행이 제거되었다.$A^{-1}_{ii}$$det(A_{0_i}) / det(A)$$A_{0_i}$$(n-1)$$(n-1)$$A$$i$

따라서 에서 최소 대각 계수의 인덱스를 얻으면 나머지 점과 어떤 점이 가장 낮은 상관 관계가 있는지 알 수 있습니다.$A^{-1}$

실제로 수행하려는 작업에 따라 반전의 대각선에서 가장 낮은 10 개의 값을 가져 오거나 첫 번째 값을 얻은 다음 점이 삭제 된 상태에서 반전을 계산하는 등의 작업을 수행 할 수 있습니다.

이것이 당신이 필요로하지 않는 경우,이 트릭이 여전히 도움이 될 것 같지만 어떻게 해야할지 모르겠습니다.

쌍별 상관 관계가 가장 낮은 개 항목 중 찾기 : 이라고하는 상관 관계가 두 계열 간 관계의 을 설명 하므로 대상 개 항목 의 상관 관계 제곱의 합을 최소화하는 것이 더 좋습니다 . 여기 내 간단한 해결책이 있습니다.$k$$n$$0.6$$0.36$$k$

상관 행렬을 제곱 상관 행렬로 다시 작성하십시오 . 각 열의 제곱을 합산하십시오. 가장 큰 합계로 열과 해당 행을 제거하십시오. 이제 행렬이 생겼습니다. 행렬 이 될 때까지 반복하십시오 . 와 가장 작은 합계로 열과 해당 행을 유지할 수도 있습니다 . 방법을 비교해 보면, 과 의 행렬에서 가까운 합계를 가진 두 항목 만 다르게 유지되고 제거된다는 것을 알았 습니다.$n \times n$$(n−1)\times (n−1)$$k\times k$$k$$n=43$$k=20$