압축 감지의 아날로그

22

에서는 압축 센싱 상기 목적은 입력 신호 (이하 "스케치") 압축으로부터 효율적으로 회수 할 수 있도록하는 것이, 희소 표현이 알려진 큰 입력 신호에 대해 선형 압축 방식을 찾는 것이다. 보다 공식적으로 표준 설정은 신호 벡터 이 이고 압축 표현은 와 같고 여기서 는 x 실수라는 것입니다 원하는 행렬 . 압축 감지의 마술은 명시 적으로 구성 하여 모든 신속하고 (선형 시간이 거의) 정확하게 복구 할 수 있다는 것입니다. $x \in \mathbb{R}^n$ $\|x\|_0 < k$ $Ax$ $A$ $R$ $n$ $R \ll n$ $A$ $k$ -sparse $x$ 와 $R$ 의 소형 $O(k n^{o(1)})$ . 가장 잘 알려진 매개 변수는 없지만 이것이 일반적인 아이디어입니다.

내 질문은 : 다른 설정에서 비슷한 현상이 있습니까? 내가 의미하는 바는 입력 신호가 반드시 희소성이 아닌 복잡성 측정에 따라 일부 "복잡도가 낮은 제품군"에서 나올 수 있다는 것입니다. 그런 다음 선형 맵일 필요는 없지만 효율적이고 정확한 압축 및 압축 풀기 알고리즘을 원합니다. 그러한 결과가 다른 맥락에서 알려져 있습니까? 압축 감지에 대한 "일반적인"이론에 대한 추측은 무엇입니까?

(물론 압축 감지의 응용에서 선형성과 희소성이 중요한 문제입니다. 여기서 제가 묻는 질문은 "철학적"입니다.)

ds.algorithms ds.data-structures compressed-sensing

— 아르나 브
소스

21

귀하의 질문은 "정확한"복구 문제를 해결합니다 (우리는 정확히 주어진 k-sparse 복구하고 싶습니다 ). 다음에서는 "견고한"버전에 중점을 두겠습니다. 여기서 는 임의의 벡터이며 복구 알고리즘의 목표는 sparse 근사 에서 까지를 찾는 것입니다 (이러한 구별은 아래의 일부 논의에서 실제로 중요합니다) ). 공식적으로 당신은 다음과 같은 문제를 원합니다 ( 이라고 부름 ). $x$ $Ax$ $x$ $k$ $x'$ $x$ $P_1$

디자인 등 그 어떤을 위해 하나가 복구 할 수 있습니다 어디 $A$ $x$ $x'$ $\|x-x'\|_L \le$

$\min_{x"} C \|x-x"\|_R$ (여기서 는 모든 스파 제 벡터에 걸쳐 있습니다. $x"$ $k$

이제 아날로그와 일반화 중 일부를 살펴 보겠습니다.

임의 기준. 먼저, 상기 정의를 만족시키는 임의의 방식이보다 일반적인 문제를 해결하는데 사용될 수 있으며, 여기서 복구 된 신호 는 표준이 아닌 임의의 기준 (예를 들어, 푸리에의 웨이블릿)으로 희소하다. 기본 행렬로 하자 . 공식적으로, 경우 벡터 는 를 기준으로 스파 스 이고 여기서 는 스파 스입니다. 이제 일반화 된 문제를 고려할 수 있습니다 ( 라고 ). $x'$ $B$ $u$ $k$ $B$ $u=Bv$ $v$ $k$ $P_B$

가 주어 복구 할 수 설계 여기서 $A_B$ $A_B x$ $x'$ $\|x-x'\|_L \le$

$\min_{x"} C \|x-x"\|_R$ (여기서 는 에서 sparse 인 모든 벡터에 걸쳐 있습니다. $x"$ $k$ $B$

기준을 변경하여, 즉 측정 행렬 사용 하여이 문제를 이전 문제 로 줄일 수 있습니다 . 규범 에서 에 대한 해를 (즉, 왼쪽 및 오른쪽 규범이 와 동일 ), 규범 에서 에 대한 해를 습니다 . 경우 다른 기준을 사용하여, 우리는 해결 기초로 변경하여 수정 된 그 규범. $P_1$ $A_B = A B^{-1}$ $P_1$ $\ell_2$ $\ell_2$ $P_B$ $\ell_2$ $P_1$ $P_B$

위의 한 가지주의 사항은 위의 접근법에서 를 정의하기 위해 행렬 를 알아야 입니다. 아마도 놀랍게도, 무작위 화를 허용한다면 ( 는 고정되어 있지 않고 무작위로 선택됩니다), 독립적 인 고정 분포에서 를 선택할 수 있습니다 . 이것이 소위 보편성 입니다. $B$ $A_B$ $A_B$ $A_B$ $B$

사전. 다음 일반화는 가 기본 이라는 요구 사항을 제거하여 얻을 수 있습니다 . 대신 가 열보다 많은 행을 갖도록 허용 할 수 있습니다. 이러한 행렬을 (과도한) 사전이라고합니다. 인기있는 예는 푸리에 행렬 위에있는 항등 행렬입니다. 다른 예는 행이 {1 ... n}의 모든 구간의 특성 벡터 인 행렬입니다. 이 경우, 집합 { }는 모든 " 히스토그램", 즉 최대 개를 가진 {1 ... n}에 대한 조각상 수 함수를 포함 합니다. $B$ $B$ $Bu: \mbox{u is k-sparse}$ $k$ $k$

내가 아는 한, 이러한 임의의 사전에 대한 일반적인 이론은 없지만이 주제에 대해 상당한 양의 연구가있었습니다. 예를 들어, Candes-Eldar-Needell'10 또는 Donoho-Elad-Temlyakov, IEEE Transactions on Information Theory, 2004를 참조하십시오 .

히스토그램에 대한 스케치는 스트리밍 및 데이터베이스 문헌 (예 : Gilbert-Guha-Indyk-Kotidis-Muthukrishnan-Strauss, STOC 2002) 또는 Thaper-Guha-Indyk-Koudas, SIGMOD 2002 에서 광범위하게 조사되었습니다 .

모델. (Arnab에 의해 언급 됨). 다른 일반화는 희소성 패턴에 대한 제한을 도입하는 것입니다. 을 {1 ... n} 의 서브 세트의 서브 세트라고 하자 . 우리는 말할 이다 의 지원하면 -sparse 의 요소에 포함되어 . 이제 문제를 제기 할 수 있습니다 ( ). $M$ $k$ $u$ $M$ $u$ $M$ $P_M$

디자인 등 그 어떤을 위해 하나가 복구 할 수 있습니다 어디 $A$ $x$ $x'$ $\|x-x'\|_L \le$

$\min_{x"} C \|x-x"\|_R$ 여기서 는 모든 스파 제 벡터에 걸쳐 있습니다. $x"$ $M$

예를 들면, 원소 형식이 될 수 각각 어떤 길이의 {1 ... N}의 하나의 "서브 블록"에 상당 즉, 이며 일부 {jb + 1 ... (j + 1) b} 형식입니다 . 소위 "블록 희소성"모델입니다. $M$ $I_1 \cup \ldots \cup I_k$ $I_i$ $b$ $I_i$ $j$

모델의 장점은 일반적인 sparsity 접근 방식에 비해 측정 횟수를 줄일 수 있다는 것 입니다. 이는 스파 스 신호의 공간이 모든 스파 스 신호 의 공간보다 작기 때문에 매트릭스 는 적은 정보를 보존해야하기 때문이다. 자세한 내용은 Baraniuk-Cevher-Duarte-Hegde, IEEE 정보 이론 거래, 2010 또는 Eldar-Mishali, IEEE 정보 거래 거래, 2009를 참조하십시오 . $k$ $M$ $k$ $A$

이것이 도움이되기를 바랍니다.

— 피오트르
소스

11

압축 감지의 비정규 적 설정에 대한 압축 감지의 일반화가 매트릭스 완료 라고 합니다. 정확한 설정에서 알 수없는 행렬 이 주어지며 희소성 대신 낮은 순위 알려져 있습니다 . 목표는 최악의 경우 필요에 따라 아닌 행렬의 계수 만 샘플링하여이 행렬 의 특이 값과 특이 벡터 를 재구성하는 것 입니다. $m \times n$ $M$ $r \ll m,n$ $r$ $\tilde{O}(rm+rn)$ $O(mn)$

특이 벡터가 행렬 요소를 샘플링하는 기준에 따라 충분히 "일관되지 않은"(거의, 너무 잘 정렬되지 않은) 경우 표준 압축 감지와 유사한 볼록한 프로그램을 해결하여 높은 확률로 성공할 수 있습니다. 이 경우 Schatten 1-norm, 즉 특이 값의 합계를 최소화해야합니다.

이 문제는 또한 온라인 서점 고객에게 다른 고객이 생성 한 몇 가지 등급 만 알지 못하도록 권장 도서를 제공하는 등 많은 응용 프로그램이 있습니다. 이와 관련하여 의 행과 열에는 각각 서적과 고객이 표시됩니다. 눈에 띄는 매트릭스 요소는 이전에 구매 한 도서의 고객 등급입니다. 행렬 은 일반적으로 소수의 주요 요소 만 선호도에 영향을 준다고 생각하기 때문에 낮은 순위에있을 것으로 예상됩니다. 을 완료 하면 공급 업체가 원하는 책에 대한 정확한 예측을 할 수 있습니다. $M$ $M$ $M$

좋은 시작은 Candés and Recht의 Convex Optimization을 통한 정확한 매트릭스 완성 입니다. 행렬 공간에 대해 임의의 기준으로 샘플링 할 수있는 정말 멋진 일반화가 있습니다. 데이빗 그로스 (David Gross)의이 논문 은 어떤 계수로든 낮은 계수의 행렬을 어떤 식 으로든 복구 하는 것은이 일반화를 사용하여 행렬 완성의 증거를 실질적으로 단순화하며 일부 기본에서는 불일치 가정도 제거 할 수 있습니다. 이 논문에는 또한 샘플링 복잡성에 대한 최고의 한계가 포함되어 있습니다. 임의적으로 샘플링하는 것이 이상하게 들릴지 모르지만 실제로는 양자 역학 설정에서 자연 스럽습니다. 예를 들어 압축 감지를 통한 양자 상태 단층 촬영을 참조하십시오 .

— 스티브 플라 미아
소스

9

매니 폴드 기반 압축 감지가 있는데, 여기서 희소성 조건은 데이터가 자연적인 신호 공간의 저 차원 하위 매니 폴드에있는 조건으로 대체됩니다. 희소성은 특정 매니 폴드 (실제로 종 다양성)에 놓여있는 것으로 표현 될 수 있습니다.

예를 들어이 백서 와 그 소개에 나오는 참고 문헌을 참조하십시오. (이 백서가 해당 지역을 대표하는지 여부는 알 수 없습니다. 저는 Niyogi-Smale-Weinberger 의 매니 폴드 기반 분류기 관련 주제에 대해 더 잘 알고 있습니다.)

— 조슈아 그로 호프
소스

재미있는 종이. 나는이 일을 몰랐다.

— Suresh Venkat

우연히, 캔 데스가 그의 SODA 10 초대 연설에서 지적했듯이 희소성은 저 차원과 같지 않습니다. 하나도없는 것이 아주 쉽습니다

— Suresh Venkat

감사! 관련 논문에서 인용 한 흥미로운 작업 중 하나는 "모델 기반 압축 감지"입니다. 입력 신호가 일부 작은 K 차원 부분 공간에서 오는 것으로 약속되면 측정 수를 일반 CS보다 훨씬 줄일 수 있다고 생각합니다.

— arnab

8

나는이 질문을 제기 한 일반성의 수준에서 Trevisan, Vadhan 및 Zuckerman (2004)의 "샘플링 가능한 소스 압축" 이라는 논문이 하나의 가능한 답변이라고 생각한다. 그들은 많은 경우에 입력 스트링의 소스가 복잡성이 낮 으면 (예를 들어, 로그 스페이스 머신에 의해 샘플링 될 수있는 경우) 다항식 시간으로 소스의 엔트로피로부터 부가 상수를 길게하기 위해 압축 및 압축 해제 할 수 있음을 보여준다.

압축 감지가 더 큰 압축 이론에 적용될 수 있는지는 모르겠습니다.

— 아르나 브
소스

3

압축 감지의 아날로그는 매우 작은 표본 크기에서 높은 차원의 가중치 벡터 (예 : 분류 / 회귀)를 추정하려고 할 때 기계 학습에 있습니다. 그러한 설정에서 불분명 한 선형 방정식 시스템을 처리하기 위해, 일반적으로 학습되는 가중치 벡터에 희소성을 적용합니다 (l0 또는 l1 페널티). 연결을 확인하려면 기계 학습의 다음 분류 / 회귀 문제를 고려하십시오.

D 차원의 N 개의 예를 각각 (D >> N) NxD 행렬 X로 나타냅니다. N 응답 (각 예에 대해 하나)을 Nx1 벡터 Y로 나타냅니다. 목표는 다음 방정식을 통해 Dx1 벡터 세타를 푸는 것입니다. : Y = X * 세타

다음은 압축 센싱 (CS)에 대한이 문제의 비유입니다. D 차원 벡터 (CS에서 알려지지 않은 "신호"에 영향을 미침) 인 세타를 추정 / 측정하려고합니다. 이를 추정하기 위해 행렬 X (CS의 설계 행렬과 유사)와 N 1-D 측정 Y (D >> N 이후 CS의 압축 신호와 유사)를 사용합니다.

— spinxl39
소스

2

참조 : http://www.damtp.cam.ac.uk/user/na/people/Anders/Inf_CS43.pdf