압축 감지 문제에 대한 혼란

13

나는 등 일부 참조 읽기 이 .

압축 감지가 빌드하고 해결하려는 최적화 문제가 무엇인지 혼동합니다. 그렇습니까

\begin{array}{ll} minimize & ‖ x ‖_{1} \\ subject to & A x = b \end{array}

$\begin{array}{ll} \text{minimize} & \|x\|_1\\ \text{subject to} & Ax=b\end{array}$

또는

\begin{array}{ll} minimize & ‖ x ‖_{0} \\ subject to & A x = b \end{array}

$\begin{array}{ll} \text{minimize} & \|x\|_0\\ \text{subject to} & Ax=b\end{array}$

또는 다른 것?

optimization

— 팀
소스

18

브라이언이 자리를 잡았습니다. 그러나 압축 감지 컨텍스트를 추가하는 것이 도움이된다고 생각합니다.

첫째, 소위 0 규범주의 년 - 카디 기능, 또는 제로가 아닌 값의 수 -is 규범을하지 . 가장 캐주얼 한 상황을 제외하고는 와 같이 쓰는 것이 가장 좋습니다 . 잘못 이해하지 마십시오. 속기 를 사용하면 좋은 회사 에 있지만 혼란을 일으키는 경향이 있다고 생각합니다. $\|x\|_0$ $x$ $\mathop{\textbf{card}}(x)$ $\|x\|_0$

사람들은 오랫동안 규범 을 최소화하면 스파 스 솔루션을 생성하는 경향이 있다는 것을 알고 있습니다. 선형 상보성과 관련이있는 몇 가지 이론적 인 이유가 있습니다. 그러나 가장 흥미로운 점은 솔루션이 드문 것이 아니라 종종 가장 희박하다는 것 입니다. 즉, 최소화 하면 실제로 유용한 경우 최소 카디널리티 솔루션이 제공됩니다. (최소 카디널리티 문제가 NP-hard 일 때 어떻게 알 수 있 었는가? 알려진 희소 솔루션으로 인공 문제를 구성함으로써) 이것은 선형 상보성 이론이 예측할 수 없었습니다. $\ell_1$ $\|x\|_1$ $\|x\|_1$

압축 감지 분야는 연구원들이 매트릭스 조건을 식별하기 시작 하여 솔루션이 하다는 것을 미리 보증 할 수있게되었습니다 . 예를 들어 Candés, Romberg 및 Tao 가 작성한 가장 빠른 논문 및 RIP (Restricted isometry) 속성 에 대한 기타 토론을 참조하십시오 . 당신이 정말로 어떤 이론으로 뛰어 들기를 원한다면 또 다른 유용한 웹 사이트는 Terence Tao의 압축 감지 페이지 입니다. $A$ $\ell_1$

— 마이클 그랜트
소스

12

우리는 해결할 수 있기를 바랍니다

$\min \| x \|_{0}$

성

$Ax=b$

그러나이 문제는 NP-Hard 조합 최적화 문제로 , , 및 가 압축 감지에서 일반적인 크기 일 때 실제로 해결하기에는 실용적이지 않습니다 . 효율적으로 해결할 수 있습니다 $A$ $x$ $b$

$\min \| x \|_{1}$

성

$Ax=b$

이론적으로 (다항식 시간으로 수행 될 수 있음) 압축 계산에서 발생하는 상당히 큰 문제에 대한 계산 실무에서 모두 사용됩니다. 우리는 에 대해 "대리"로 . 이것은 약간의 직관적 인 정당화 (1- 노름 최소화는 에서 0이 아닌 항목이 적은 솔루션을 선호 함 )와 훨씬 더 정교한 이론적 정당화 ( " 가 k- 스파 스 솔루션을 가지고 있다면 은 가능성이 높은 솔루션을 찾을 것입니다. " $\| x \|_{1}$ $\| x \|_{0}$ $x$ $Ax=b$ $\| x \|_{1}$

실제로는 데이터에 노이즈가 많기 때문에 정확한 구속 조건 는 종종 형식의 구속 조건으로 대체됩니다. 입니다. $Ax=b$ $\| Ax - b \|_{2} \leq \delta$

제약 된 문제의 변형 된 형태로 작업하는 것도 매우 일반적입니다. 예를 들어 . $\min \| Ax - b\|_{2}^{2} + \lambda \| x \|_{1}$

— 브라이언 보처 스
소스

8

대 대한 Brians and Michaels 설명에 추가 할 내용이 없습니다 . 문제는 압축 감지 나는 내 관점을 추가 할에 대한 것 같다하지만 이후 : 압축 감지는 없다 둘 다 해결에 관하여 도 에 대한 압축 센싱은 패러다임 에 가깝습니다. $\ell^1$ $\ell^0$

min ‖ x ‖_{0} s.t A x = b

$\min\|x\|_0\quad\text{s.t}\quad Ax=b$

min ‖ x ‖_{1} s.t. A x = b .

$\min\|x\|_1\quad\text{s.t.}\quad Ax=b.$

몇 번의 측정으로 희소 신호를 식별 할 수 있습니다.

압축 감지는 실제로 특정 종류의 신호에서 신호를 식별하기 위해 가능한 적은 측정 을 수행하는 것입니다.

한 가지 흥미로운 문구는 다음과 같습니다.

5 메가 픽셀 카메라가 실제로 1,500 만 값 (각 픽셀 당 3 개)을 측정해야하는 이유는 약 2 메가 바이트 (압축 후) 만 저장하는 경우 15 메가 바이트의 데이터가 필요한 이유는 무엇입니까?
2 메가 바이트를 바로 측정 할 수 있습니까?

가능한 다른 프레임 워크가 있습니다 :

선형 측정
비선형 것 (예 : "위상없는 것")
벡터 데이터, 매트릭스 / 텐서 데이터
0이 아닌 수의 희소성
"낮은 순위"또는 "낮은 복잡도"로 희소성).

그리고 같은 스파 스 솔루션을 계산하기 위해 또한 많은 방법이 있습니다 일치 추구를 (직교 일치 추구 (OMP처럼 변형), 정규화 직교 일치 추구 (ROMP), CoSaMP) 또는 기반으로 최근의 방법 메시지 전달 알고리즘.

단순한 또는 최소화로 압축 감지를 식별하면 실제 데이터 수집 문제를 처리 할 때 상당한 유연성을 놓치게됩니다. $\ell^1$ $\ell^0$

그러나 선형 시스템에 대한 스파 스 솔루션을 얻는 데 관심이 있다면 스파 스 재구성 이라고 부르는 작업을 수행 합니다.

— 단도
소스

감사! 다음을 수학 공식으로 바꾸어 줄 수 있습니까? "몇 번의 측정으로 희소 신호를 식별 할 수 있습니다. 압축 감지는 실제로 특정 종류의 신호에서 신호를 식별하기 위해 가능한 한 적은 측정을 수행하는 것입니다."

— Tim

1

압축 감지는 수학적 이론이 아니라 엔지니어링 개념이기 때문에 불가능합니다.

— Dirk

1

나는이 답변이 좋은 기여라고 생각하고 투표했다. 그러나 어리석은 문구는 항상 문제가 있습니다. CS는 매우 강력하여 1,300 만 화소를 버리고 이미지를 복구 할 수 있습니다. 하지만, 당신이해야 결코 심지어 CS 시스템 --- 좋은 복구 알고리즘은 항상 더 많은 데이터를 사용할 수있다 무작위 데이터를 버리지 않습니다. CS의 약속은 전력 절약, 빠른 수집 등과 같은 중요한 실질적인 절약과 대가로 적은 양의 데이터 를 수집 하는 센서를 개발할 수있는 잠재력입니다 .

— Michael Grant

@MichaelGrant 동의합니다 : 이미 측정 한 데이터를 버리지 말고 최소한의 노력으로 측정 할 수있는 날짜를 사용하십시오.

— Dirk