신생 대사 유도. 붙어

따라서이 질문은 다소 관여하지만 가능한 한 간단하게 노력하려고 노력했습니다.

목표 : 간단히 말해서, 고차 누적을 포함 하지 않는 부조화의 유도가 있으며 , 그것이 어떻게 도출되었는지 이해하려고합니다.

배경 : (이 모든 것을 이해합니다)

나는 여기에있는 '독립 구성 요소 분석' 책을 스스로 연구하고 있습니다. (이 질문은 '비 다항식 함수에 의한 엔트로피의 근사'책이있는 경우 섹션 5.6에서 발생합니다).

우리는 임의의 변수 인 가지고 있으며 , 우리가 관측 한 일부 관측 값에서 부정성을 계산하고자합니다. 의 PDF는 의해 제공됩니다 . 네 trop 트로피는 단순히 표준화 된 가우스 랜덤 변수의 차분 엔트로피와 의 차분 엔트로피의 차이입니다 . 여기서 차분 엔트로피는 로 주어집니다 . $x$ $x$ $p_x(\zeta)$ $x$ $H$

H (x) = - \int_{- \infty}^{\infty} p_{x} (ζ) l o g (p_{x} (ζ)) d ζ

$H(x) = -\int_{-\infty}^{\infty} p_x(\zeta) \: log(p_x(\zeta)) \: d\zeta$

따라서, 부정성은

J (x) = H (v) - H (x)

$J(x) = H(v) - H(x)$

여기서 는 표준화 된 가우스 rv이며 PDF는 됩니다. $v$ $\phi(\zeta)$

이제이 새로운 방법의 일부로 필자의 책은 다음과 같이 의 PDF 추정치를 도출 했습니다. $x$

p_{x} (ζ) = ϕ (ζ) [1 + \sum_{i} c_{i} F^{i} (ζ)]

$p_x(\zeta) = \phi(\zeta) [1 + \sum_{i} c_i \; F^{i}(\zeta)]$

(여기서 . 그런데, 이다 하지 전력 있지만 인덱스 대신). $c_i = \mathbb{E}\{F^i(x)\}$ $i$

지금은이 새로운 PDF 공식을 '수락'하고 다른 날에 대해 물어볼 것입니다. 이것은 내 주요 문제가 아닙니다. 그가 지금 하는 일은 버전의이 PDF 버전을 음의 방정식에 다시 연결하고 다음과 같이 끝납니다. $x$

J (x) \approx \frac{1}{2} \sum_{i} E {F^{i} (x)}^{2}

$J(x) \approx \frac{1}{2}\sum_i\mathbb{E} \{F^i(x)\}^2$

시그마 (여기서 포스트의 나머지 부분)는 인덱스 주위를 반복합니다 . 예를 들어 함수가 두 개 뿐인 경우 신호는 및 대해 반복됩니다 . 물론, 그가 사용하고있는 기능에 대해 말씀 드리겠습니다. 따라서 이러한 함수 는 다음과 같이 정의됩니다. $i$ $i=2$ $i=2$ $F^i$

이 경우 함수 는 다항 함수가 아닙니다. 우리는 rv 가 제로 평균이고 단위 분산 이라고 가정합니다 . 이제 몇 가지 제약 조건을 만들고 해당 기능의 속성을 제공하겠습니다. $F^i$ $x$

$F^{n + 1} (ζ) = ζ, c_{n + 1} = 0$ $F^{n+1}(\zeta) = \zeta, \: \: c_{n+1} = 0$
$F^{n + 2} (ζ) = ζ^{2}, c_{n + 1} = 1$ $F^{n+2}(\zeta) = \zeta^2, \: \: c_{n+1} = 1$
계산을 단순화하기 위해 또 다른 순수한 기술적 가정을 만들어 봅시다. 함수 은 다음과 같이 직교 정규 시스템을 형성합니다. $F^i, i = 1, ... n$

$\int ϕ (ζ) F^{i} (ζ) F^{j} (ζ) d ζ = {\begin{cases} 1, if i = j \\ 0, if i \neq j \end{cases}$ $\int \phi(\zeta) F^i(\zeta)F^j(\zeta)d\zeta= \begin{cases} 1, \quad \text{if } i = j \\ 0, \quad \text{if } i \neq j \end{cases}$
과

$\int ϕ (ζ) F^{i} (ζ) ζ^{k} d (ζ) = 0, for k = 0, 1, 2$ $\int \phi(\zeta)F^i(\zeta)\zeta^k d(\zeta) = 0, \quad \text{for } k = 0,1,2$

거의 다 왔어! 자, 모든 것이 배경이었고 지금은 질문에 대한 것입니다. 그러면이 새 PDF를 단순히 차분 엔트로피 공식 넣는 것 입니다. 이것을 이해하면 나머지는 이해할 것입니다. 이제,이 책은 파생을 제공하지만 (동의 함) 동의하지 않습니다. 그것이 어떻게 취소되고 있는지 알지 못하기 때문에 끝까지 갇히게됩니다. 또한 Taylor 확장에서 small-o 표기법을 해석하는 방법을 모르겠습니다. $H(x)$

결과는 다음과 같습니다.

Taylor 확장 를 사용하면 대해 $(1+\epsilon)log(1+\epsilon) = \epsilon + \frac{\epsilon^2}{2} + o(\epsilon^2)$ $H(x)$

H (x) = - \int ϕ (ζ) (1 + \sum c_{i} F^{i} (ζ)) (l o g (1 + \sum c_{i} F^{i} (ζ) + l o g (ζ)) d (ζ) = - \int ϕ (ζ) l o g (ζ) - \int ϕ (ζ) \sum c_{i} F^{i} (ζ) l o g (ϕ (ζ)) - \int ϕ (ζ) [\sum c_{i} F^{i} (ζ) + \frac{1}{2} (\sum c_{i} F^{i} (ζ))^{2} + o ((\sum c_{i} F^{i} (ζ))^{2})]

$H(x) = -\int \phi(\zeta) \; (1 + \sum c_i F^i(\zeta)) \; (log(1 + \sum c_i F^i(\zeta) + log(\zeta)) \; d(\zeta) \\ = -\int \phi(\zeta) log(\zeta) -\int \phi(\zeta) \sum c_i F^i(\zeta) log(\phi(\zeta)) -\int \phi(\zeta) \; [\sum c_i F^i(\zeta) + \frac{1}{2}(\sum c_i F^i(\zeta))^2 + o((\sum c_i F^i(\zeta))^2)]$

그래서

질문 : (이해하지 못합니다)

H (x) = H (v) - 0 - 0 - \frac{1}{2} \sum c_{i}^{2} + o ((\sum c_{i})^{2}

$H(x) = H(v) - 0 - 0 -\frac{1}{2}\sum c_i^2 + o((\sum c_i)^2$

그래서 내 문제 : 제외하고 는 마지막 방정식에서 마지막 4 항을 어떻게 얻었는지 이해할 수 없습니다. (즉, 0, 0 및 마지막 2 항). 나는 그 전에 모든 것을 이해합니다. 그는 위의 속성에서 주어진 직교성 관계를 이용했다고 말하지만 어떻게되는지 모르겠습니다. (또한 여기에서 사용되는 의미에서 작은 o 표기법을 이해하지 못합니까?) $H(v)$

감사!!!!

편집하다:

나는 내가 읽고있는 책에서 이미지를 추가했으며, 위에서 말한 것을 거의 말하지만 누군가가 추가 컨텍스트가 필요한 경우를 대비하여.

여기에 이미지 설명을 입력하십시오

그리고 빨간색으로 표시된 여기가 저를 혼란스럽게하는 정확한 부분입니다. 그는 직교성 속성을 사용하여 마지막 부분, 상황이 취소되는 위치 및 와 관련된 최종 합산 및 small-o 표기법 합산을 어떻게 습니까? $c_i^2$

— Spacey
소스

힌트 : 명시 적으로 작성 하고 저자가 지정한 가정을 사용하여 두 중간 용어에 대한 0을 얻습니다. 블록 인용 부호를 포함하여 여러 오타가 있어야합니다. 예를 들어, 는 사용자가 제공하는 정규 직교 기준 정의에서 잘못된 위치에 나타납니다.

\log ϕ (x)

$\log \phi(x)$

\neq

$\neq$

— 추기경

@ cardinal Ok, 오타를 수정했습니다. 감사합니다. 즉, 그가 취소를 어떻게 수행하고 있는지 잘 모르겠습니다. 책 자체에서 실제 이미지 btw를 추가했습니다.

— Spacey

솔직히, 이것이 어떻게 또는 왜 수학 사이트에서 마이그레이션되었는지 전혀 모른다. 어쨌든, 나는 그것이 똑같이 집에있는 여기에있어서 기쁩니다. 당신은 질문에 많은 노력을 기울였습니다. :-)

— 추기경

@cardinal 그것은 당신이 그런 말을 듣고 너무 기쁘게 생각합니다. :-) 그렇습니다.이 자율 학습 투자가 언젠가는 성과를 거두기를 바랍니다. ;-)

— Spacey

그것은 @Mohammad입니다. ICA는 또한 매우 흥미로운 주제입니다 :-).

— Néstor

먼저, 는 상수 (예상 값, 숫자입니다)이므로 적분 밖으로 가져올 수 있습니다 (보이지 않으면 표기법 이 에서 by 를 변경하면 . $c_i$

c_{i} = \int p_{0} (ξ) G^{i} (ξ) d ξ .

$c_i=\int p_0(\xi)G^i(\xi)d\xi.$

ξ

$\xi$

ξ^{'}

$\xi'$

c_{i}

$c_i$

>> 제로 항을 얻으려면 :

그 리콜 . @cardinal에서 제안한대로 명시 적으로 를 작성해야합니다 . 손이, 당신은 단지 참고해야한다는 : 여기서 정수 외부의 상수를 삭제했습니다. $\varphi(\xi)=\exp(-\xi^2/2)/\sqrt{2\pi}$ $\log\varphi(\xi)$

\log φ (ξ) = - ξ^{2} / 2 - \log \sqrt{2 π} .

$\log\varphi(\xi)=-\xi^2/2-\log\sqrt{2\pi}.$

c_{i} \int φ (ξ) G^{i} (ξ) \log φ (ξ) = - \frac{1}{2} c_{i} \int φ (ξ) G^{i} (ξ) ξ^{2} - \log \sqrt{2 π} c_{i} \int φ (ξ) G^{i} (ξ), (1)

$c_i\int\varphi(\xi)G^i(\xi)\log \varphi(\xi)=-\frac{1}{2}c_i\int\varphi(\xi)G^i(\xi)\xi^2-\log\sqrt{2\pi}c_i\int\varphi(\xi)G^i(\xi),\ \ \ (1)$

여기에서 (5.39)에서 는 대해 이라고 명시되어 있습니다. eq의 오른쪽에있는 첫 번째 항의 적분입니다. 은이 형태 ( )이고 두 번째 항의 적분 ( )입니다. 당신은 합계 에서이 사실을 악용해야하며 완료되었습니다! $\int \varphi(\xi)F^i(\xi)\xi^k$ $0$ $k=0,1,2$ $(1)$ $k=2$ $k=0$

>> 용어 를 얻으려면 : $\sum c_i^2$

이 항을 얻기 위해 얻을 수있는 정수는 다항 정리 를 사용하여 제곱합을 확장 할 수 있습니다 . 이것은 우리를 제공합니다 : 그러나 (5.39)부터 다시이 합계의 모든 용어에는 형식의 정수가 포함됩니다. 는 경우 0 이고 입니다. 결과는

\int φ (ξ) {(\sum_{i = 1}^{n} c_{i} G^{i} (ξ))}^{2} d ξ .

$\int \varphi(\xi)\left(\sum_{i=1}^{n} c_iG^i(\xi)\right)^2d\xi.$

\int φ (ξ) \sum_{k_{1} + k_{2} + . . . k_{n} = 2} \frac{2!}{k_{1}! k_{2}! . . . k_{n}!} \prod_{1 \leq t \leq n} (c_{t} G^{t} (ξ))^{k_{t}} d ξ .

$\int \varphi(\xi)\sum_{k_1+k_2+...k_n=2} \frac{2!}{k_1! k_2!...k_n!}\prod_{1\leq t \leq n}(c_tG^t(\xi))^{k_t}d\xi.$

\int φ (ξ) G^{i} (ξ) G^{j} (ξ) d ξ

$\int \varphi(\xi)G^{i}(\xi)G^{j}(\xi)d\xi$

i \neq j

$i\neq j$

i = j

$i=j$

\int φ (ξ) {(\sum c_{i} G^{i} (ξ))}^{2} d ξ = \sum c_{i}^{2} .

$\int \varphi(\xi)\left(\sum c_iG^i(\xi)\right)^2d\xi=\sum c_i^2.$

>> 표기법에 대하여 $o(\text{whatever})$

나는이 꽤 저자에서 혼란 생각하지만, 나는 그들이 단지 순서의 측면이 있다는 것을 의미하는 데 사용하는 것이 기억 가 넣을 때마다 (즉, 단지 큰 등을 -O 표기법). 그러나 @Macro 가이 같은 답변에 대해 언급했듯이 big-O 표기법과 little-O 표기법 사이에는 차이가 있습니다. 어쩌면 이 위키피디아 기사 에서 자신이 직접 확인하여 문제에 적합한 것을 찾아보아야 합니다. $\text{whatever}$ $o(\text{whatever})$

추신 : 이것은 훌륭한 책입니다. 주제에 대한 저자의 논문도 매우 훌륭하며 ICA를 이해하고 구현하려는 경우 반드시 읽어야합니다.

— 네스터
소스

(+1) 정답입니다. 합이 무한한 경우 적분과의 교환에 더주의를 기울여야합니다. 그것들이 유한하다면 (OP가 제안하지만 이미지를 자세히 보지 않았 음), 모든 것이 간단합니다. :-)

— 추기경

아 예! Nestor에게 감사하지만 마지막 두 결과, 즉 와의 합산 및 small-o 표기법 부분과의 합산은 어떻습니까?

c_{i}^{2}

$c_i^2$

— Spacey

@ 추기경 : 아 그래! 그들은 유한합니다 (무슨 곳에서 내가 쓴지 모르겠습니다 ...). 나는 내 대답에서 그것을 바꿨다.

— Néstor

@Mohammad, 나는 당신의 다른 두 가지 질문에 대한 답을 쓰고 있습니다 ;-).

— Néstor

@ Néstor,이 답변에 +1하지만 마지막 의견 : big-O와 little-o 표기법 에는 차이가 있다고 생각 합니다.

— 매크로