나는 주성분 분석에 대한 이해 라는 질문을보고 즐겼으며, 이제 독립 성분 분석에 대해서도 같은 질문을합니다. ICA를 이해하는 직관적 인 방법에 대해 포괄적 인 질문을하고 싶습니다.

이해 하고 싶습니다 . 나는 그것의 목적을 얻고 싶다. 느낌을 받고 싶습니다. 나는 그것을 강력하게 믿습니다.

할머니에게 설명 할 수 없다면 실제로 무언가를 이해하지 못합니다.
-앨버트 아인슈타인

글쎄요, 저는이 개념을 평신도 나 할머니에게 설명 할 수 없습니다

1. 왜 ICA인가? 이 개념의 필요성은 무엇입니까?
2. 이것을 평신도에게 어떻게 설명 하시겠습니까?

여기 내 시도가 있습니다.

배경

다음 두 가지 경우를 고려하십시오.

1. 당신은 파티에서 사적인 눈입니다. 갑자기 예전 고객 중 한 사람이 누군가와 이야기하는 것을 보았을 때 단어 옆에있는 말을들을 수 있지만 그 옆에있는 다른 사람의 말을 듣고 스포츠와 관련이없는 토론에 참여하기도합니다. 당신은 더 가까이 가고 싶지 않습니다-그는 당신을 발견 할 것입니다. 당신은 당신의 파트너의 전화 (바텐더 무알콜 맥주를 설득하는 바쁘다)를 가져 와서 당신 옆에 약 10 미터를 심기로 결정합니다. 전화가 녹음 중이며 휴대 전화는 방해가되는 운동 선수뿐만 아니라 기존 고객의 대화도 녹음합니다. 당신은 당신이 서있는 곳에서 자신의 전화를 가지고 녹음을 시작합니다. 약 15 분 후 두 개의 녹음 (하나는 현재 위치에서, 다른 하나는 약 10 미터 거리)으로 집으로 돌아갑니다. 두 기록 모두 당신의 오래된 고객과 Mr. Sporty를 포함합니다.
2. 창문 밖에서 보는 귀여운 래브라도 리트리버 강아지 사진을 찍습니다. 당신은 이미지를 체크 아웃하고 불행히도 당신과 개 사이의 창에서 반사를 볼 수 있습니다. 당신은 창을 열 수 없습니다 (그렇습니다, 그 중 하나입니다). 당신은 그가 도망 갈 것을 두려워하기 때문에 밖에 나갈 수 없습니다. 따라서 약간 다른 위치에서 다른 이미지를 (명확하지 않은 이유로) 가져옵니다. 당신은 여전히 ​​반사와 개를 볼 수 있지만, 다른 장소에서 사진을 찍기 때문에 지금은 다른 위치에 있습니다. 또한 창은 평평하고 오목 / 볼록하지 않기 때문에 이미지의 각 픽셀에 대해 위치가 균일하게 변경되었습니다.

문제는 두 경우 모두 동일한 두 "소스"를 포함하지만 각각 서로 약간 다른 기여를하는 두 개의 이미지를 고려하여 대화를 복원하는 방법 (1) 또는 개 이미지 (2)입니다. . 분명히 교육받은 손자는 이것을 이해할 수 있습니다!

직관적 인 솔루션

적어도 원칙적으로 우리는 혼합물에서 강아지의 이미지를 어떻게 되 찾을 수 있습니까? 각 픽셀은 두 값의 합인 값을 포함합니다! 각 픽셀에 다른 픽셀이 없으면 직관이 정확할 것입니다. 각 픽셀의 정확한 상대 기여도를 추측 할 수 없었을 것입니다.

그러나 우리는 동일한 관계를 유지한다는 것을 알고있는 일련의 픽셀 (또는 기록의 경우 특정 시점)이 제공됩니다. 예를 들어 첫 번째 이미지에서 개가 항상 반사보다 두 배 더 강하고 두 번째 이미지에서 그 반대의 경우에는 올바른 기여를 얻을 수 있습니다. 그런 다음 반사가 정확히 취소되도록 두 이미지를 빼는 올바른 방법을 생각해 낼 수 있습니다! [수학적으로 이것은 역 혼합 행렬을 찾는 것을 의미합니다.]

세부 사항으로 다이빙

의 두 신호가 혼합되어 있다고 가정하겠습니다.

두 개의 혼합물 의 함수 로 을 되 . 또한 선형 조합 . 따라서 가장 좋은 벡터 를 찾는 것만으로도 충분 합니다. 및 와 유사합니다 .$S_1$$Y_1,Y_2$$S_1=b_{11} Y_1 + b_{12} Y_2$$(b_{11},b_{12})$$S_2$$(b_{21},b_{22})$

그러나 일반적인 신호를 어떻게 찾을 수 있습니까? 비슷해 보이거나 통계가 비슷할 수 있습니다. 따라서 독립적이라고 가정 해 봅시다. 잡음과 같은 간섭 신호가 있거나 두 신호가 이미지 인 경우 간섭 신호가 다른 것을 반영한 것일 수 있습니다 (다른 각도에서 두 이미지를 촬영 한 경우).

이제 우리는 과 가 종속적 이라는 것을 알고 있습니다. 정확하게 복구 할 수 없으므로 이러한 신호에 대한 추정치를 각각 로 표시하십시오.Y 2 S 1 , S 2 X 1 , X $Y_1$$Y_2$$S_1,S_2$$X_1,X_2$

우리가 어떻게 할 수 최대한 가까이 할 수 ? 우리는 후자가 독립적이라는 것을 알고 있기 때문에 값으로 으로써 를 가능한 한 독립적으로 만들 수 있습니다 . 결국, 행렬 가 뒤집을 수 없다면, 우리는 믹싱 연산을 행렬 을 찾을 수 있습니다. 우리는 그것들을 독립적으로 만들고 신호를 복원 할 수있는 좋은 기회 입니다.S 1 , S 2 X 1 , X 2 b i j { a i j } { b i j } S $X_1,X_2$$S_1,S_2$$X_1,X_2$$b_{ij}$$\{a_{ij}\}$$\{b_{ij}\}$$S_i$

독립적으로 만드는 을 ( 를) 찾아야한다고 확신한다면 , 이제 그 방법을 묻습니다.X 1 , X $\{b_{ij}\}$$X_1,X_2$

따라서 먼저 이것을 고려하십시오. 여러 개의 비 가우시안 신호를 요약하면 그 합을 구성 요소보다 "가우시안"으로 만듭니다. 왜? 중심 제한 정리로 인해 두 개의 깊이의 합의 밀도에 대해 생각할 수도 있습니다. 변수의 밀도입니다. 우리가 몇 가지 깊이 요약하면 Bernoulli 변수, 경험적 분포는 점점 가우시안 모양과 유사합니다. 진정한 가우시안일까요? 아마도 말장난은 아니지만, 가우스 분포와 비슷한 양으로 신호의 가우스도를 측정 할 수 있습니다. 예를 들어 과도한 첨도를 측정 할 수 있습니다. 실제로 높으면 분산이 같지만 초과 첨도가 0에 가까운 것보다 가우시안이 적을 수 있습니다.

따라서 혼합 가중치를 찾으려면 반복 할 때마다 의 벡터가 가우시안보다 작은 최적화 문제를 공식화하여 를 찾으려고 시도 할 수 있습니다. 어떤 단계에서도 실제로 가우시안이 아닐 수 있지만 가우시안을 줄이고 싶습니다. 마지막으로, 만약 우리가 지역 최소 점에 갇히지 않는다면, 역 혼합 행렬 을 얻고 깊이를 얻게 될 것입니다. 다시 신호.X 1 , X 2 { b i j$\{b_{ij}\}$$X_1,X_2$$\{b_{ij}\}$

물론 이것은 또 다른 가정을 추가합니다. 두 신호는 비 가우시안이어야합니다.

매우 간단합니다. 할머니와 가족이 테이블 주위에 모여 있다고 상상해보십시오. 더 큰 그룹의 사람들은 채팅 주제가 해당 하위 그룹과 관련된 곳에서 헤어지는 경향이 있습니다. 할머니는 거기에 앉아 연설하는 모든 사람들의 소음을 듣고 있습니다. 한 그룹으로 전환하면 십대 / 청소년 그룹에서 토론을 명확하게 분리 할 수 ​​있고 다른 그룹으로 전환하면 성인 채팅을 분리 할 수 ​​있습니다.

요약하자면, ICA는 신호의 혼합 (군중 대화)에서 특정 신호 (한 사람 또는 여러 사람이 말하는)를 분리하거나 추출하는 것입니다.