종이를 통한 기대 극대화에 도움 : 사전 배포 방법은?

9

이 문제는 결합 복사 전송-확산 모델을 이용한 확산 광 단층 촬영의 이미지 재구성이라는 제목의 논문을 기반으로합니다.

저자 는 이미지의 픽셀을 추정하기 위해 알 수없는 벡터 의 희소성 정규화 와 함께 EM 알고리즘을 적용 합니다. 모델은 $l_1$ $\mu$

\begin{matrix} (1) & 와이 = ㅏ μ + 이자형 \end{matrix}

$y=A\mu + e \tag{1}$ 추정치는 식 (8)에

\begin{matrix} (2) & \hat{μ} = 인수 미디엄 ㅏ 엑스 \ln 피 (와이 | μ) + γ \ln 피 (μ) \end{matrix}

$\hat{\mu} = \arg max {\ln p(y|\mu) + \gamma \ln p(\mu)} \tag{2}$

내 경우에는 를 길이 의 필터로 간주 하고 는 필터를 나타내는 벡터입니다. 그래서, $\mu$ $L$ $\mathbf{\mu}$ $L \times 1$

모델은 으로 다시 쓸 수 있습니다.

\begin{matrix} (삼) & 와이 (엔) = μ^{티} ㅏ (엔) + V (엔) \end{matrix}

$y(n) = \mathbf{\mu^T}a(n) + v(n) \tag{3}$

질문 : 문제 구성 : (n by 1)은 관측되지 않은 입력이고 은 분산 가산 노이즈 가있는 제로 평균입니다 . MLE 솔루션은 예상 극대화 (EM)를 기반으로합니다. ${\mu(n)}$ $\{e(n)\}$ $\sigma^2_e$

논문에서 Eq (19)는 함수-완전한 로그 우도이지만 내 경우에는 완전한 로그 우도 표현 에 의 분포를 어떻게 포함시킬 수 있는지 이해하지 못합니다 . $A$ $A, \mu$

이전 분포를 포함 하여 EM of 를 사용하는 완전한 로그 우도는 무엇입니까 ? $y$

— SKM
소스

실제로 로그 우도를 원하십니까? 아니면 로그 우회를 원하십니까? 후자 만이 Laplacian을 포함합니다. 전자는 가능성의 로그를 가져 와서 얻을 수 있습니다. 이미 기록한 것 같습니다

내가 원하는 두 가지 표현이 있습니다-(1) Fisher Information Matrix를 찾는 데 사용될 하나와 (2) 숨겨진 변수 를 포함하는 완전한 데이터 세트의 pdf 와 관절 인 관찰이 있습니다. 파라미터 의 함수로서 관측 된 데이터의 확률 밀도 . 내가 작성한 pdf는 맹검 추정을 위해 MA 모델에 적용됩니다 . 그러나 희소 구속 조건 = 라플라시안에 대해 어떻게 로그 가능성의 부분 파생물로부터 Fisher Information Matrix를 찾을 수 있을까요?

Z

$Z$

θ

$\theta$

θ

$\theta$

— SKM

@ 시안 : 나는 로그 가능성의 공식화에 포함 된 3 개의 pdf를 연결하는 방법을 이해하지 못합니다. 부분 미분을 취하고 0과 동일하게하는 최대화를 수행 할 수 있습니다. 명시 적으로 작성된 가능성 표현으로 답변을 작성해 주시겠습니까? 이것은 정말로 도움이 될 것입니다

— SKM

3

대상을 EM을 기준으로 한 표현은 분해 때문에 임의의 대한 또는 는 의 임의의 값에 대해 작동 합니다 (lhs에는 없기 때문에 ) 따라서 모든 예상에 대해서도 작동합니다 .

인수 \underset{θ}{최대} 엘 (θ | 엑스) π (θ) = 인수 \underset{θ}{최대} 로그 엘 (θ | 엑스) + 로그 π (θ)

$\arg\max_\theta L(\theta|x)\pi(\theta) = \arg\max_\theta \log L(\theta|x) + \log \pi(\theta)$

로그 엘 (θ | 엑스) = 이자형 [로그 엘 (θ | 엑스, 지) | 엑스, θ ⁰] - 이자형 [로그 큐 (지 | 엑스, θ) | 엑스, θ ⁰]

$\log L(\theta|x) = \mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]-\mathbb{E}[\log q(Z|x,\theta)|x,\theta⁰]$

θ ⁰

$\theta⁰$

q (z | x, θ) = f (x, z | θ) / g (x | θ)

$q(z|x,\theta)=f(x,z|\theta) \big/ g(x|\theta)$

g (x | θ) = f (x, z | θ) / q (z | x, θ)

$g(x|\theta) = f(x,z|\theta) \big/ q(z|x,\theta)$

z

$z$

Z

$Z$

\log g (x | θ) = \log f (x, z | θ) - \log q (z | x, θ) = E [\log f (x, Z | θ) - \log q (Z | x, θ) | x]

$\log g(x|\theta) = \log f(x,z|\theta) - \log q(z|x,\theta) = \mathbb{E}[\log f(x,Z|\theta) - \log q(Z|x,\theta)|x]$ 주어진 조건부 분포에 대해, 예를 들어 . 따라서 만약 우리 최대화에 용액 우리가 동안 EM의 표준 인수로 를 기록합니다. 따라서

Z

$Z$

X = x

$X=x$

q (z | x, θ ⁰)

$q(z|x,\theta⁰)$

θ

$\theta$

E [\log L (θ | x, Z) | x, θ ⁰] + \log π (θ)

$\mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]+ \log \pi(\theta)$

θ^{1}

$\theta^1$

E [\log L (θ^{1} | x, Z) | x, θ ⁰] + \log π (θ^{1}) \geq E [\log L (θ ⁰ | x, Z) | x, θ ⁰] + \log π (θ ⁰)

$\mathbb{E}[\log L(\theta^1|x,Z)|x,\theta⁰]+ \log \pi(\theta^1)\ge\mathbb{E}[\log L(\theta⁰|x,Z)|x,\theta⁰]+ \log \pi(\theta⁰)$

이자형 [로그 큐 (지 | 엑스, θ ⁰) | 엑스, θ ⁰] \geq 이자형 [로그 큐 (지 | 엑스, θ^{1}) | 엑스, θ ⁰]

$\mathbb{E}[\log q(Z|x,\theta⁰)|x,\theta⁰]\ge\mathbb{E}[\log q(Z|x,\theta^1)|x,\theta⁰]$

이자형 [로그 엘 (θ^{1} | 엑스, 지) | 엑스, θ ⁰] + 로그 π (θ^{1}) \geq 이자형 [로그 엘 (θ ⁰ | 엑스, 지) | 엑스, θ ⁰] + 로그 π (θ ⁰)

$\mathbb{E}[\log L(\theta^1|x,Z)|x,\theta⁰]+ \log \pi(\theta^1)\ge\mathbb{E}[\log L(\theta⁰|x,Z)|x,\theta⁰]+ \log \pi(\theta⁰)$ E 단계로 목표 를 사용하면 각 M에서 후방이 증가합니다. 단계, 수정 된 EM 알고리즘이 로컬 MAP으로 수렴됨을 의미합니다.

이자형 [로그 엘 (θ | 엑스, 지) | 엑스, θ ⁰] + 로그 π (θ)

$\mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]+ \log \pi(\theta)$

— 시안
소스

당신의 답변에 감사드립니다. 않습니다 의 PDF 대표 ? 두 번째 줄에서 언급 한 방정식에서 를 빼는 데 2 가지 기대치가있는 이유를 설명해 주 시겠습니까?

q ()

$q()$

Z

$Z$

E [l o g q (.)]

$E[log q(.)]$

— SKM

몇 가지 설명을 추가했지만 표준 알고리즘이기 때문에 교과서에서 EM 알고리즘의 파생을 확인해야합니다.

— Xi'an

1

MAP 추정치 (또는 MLE)의 고정 지점에 수렴을 표시하기 위해 단조 증가하는 로그-포어 (또는 MLE의 로그 우도)를 표시하는 것만으로는 충분하지 않다고 생각합니다. 예를 들어, 증분은 임의로 작게 될 수 있습니다. Wu 1983 의 유명한 논문 에서 EM의 고정 점으로 수렴하기에 충분한 조건은 하한 함수의 두 가지 주장에서 차별화가 가능합니다.

— 짐 Z
소스