«expectation-maximization» 태그된 질문

EM 알고리즘을 잘 이해하고 구현하고 사용할 수 있도록 노력하고 있습니다. 나는 하루 종일 레이더에서 오는 위치 정보를 사용하여 항공기를 추적하는 데 EM과 이론을 읽었습니다. 솔직히 나는 기본 아이디어를 완전히 이해하지 못한다고 생각합니다. 누군가 가우시안 분포의 매개 변수 또는 정현파 시리즈의 시퀀스를 추정하거나 선을 맞추는 것과 같이 간단한 문제에 대해 EM의 …

117 regression  probability  mathematical-statistics  intuition  expectation-maximization 

데이터 클러스터링 (비지도 학습) : EM 및 k- 평균 알고리즘을 연구했습니다. 나는 다음을 계속 읽습니다. k- 평균은 군집이 구형이라는 가정하에 EM의 변형입니다. 누군가 위의 문장을 설명 할 수 있습니까? 나는 구상 의미가 무엇인지, kmeans와 EM이 어떻게 관련되는지 이해하지 못합니다. 하나는 확률 론적 할당을 수행하고 다른 하나는 결정 론적 방식으로 수행하기 …

50 machine-learning  clustering  data-mining  k-means  expectation-maximization 

알고리즘 EM (예상 최대화)과 기울기 상승 (또는 하강) 알고리즘의 차이점은 무엇입니까? 그것들이 동등한 조건이 있습니까?

28 gradient-descent  expectation-maximization 

Variational Bayes 방법이 EM 알고리즘의 일반화라는 것을 읽었습니다. 실제로 알고리즘의 반복 부분은 매우 유사합니다. EM 알고리즘이 Variational Bayes의 특수 버전인지 테스트하기 위해 다음을 시도했습니다. 는 데이터이고 X 는 잠재 변수의 모음이며 Θ 는 매개 변수입니다. 변분 베이 즈에서 우리는 근사 할 수 있도록이되도록 P ( X , Θ | Y …

26 bayesian  expectation-maximization  variational-bayes 

EM 알고리즘에 대한 몇 가지 설명을 읽었습니다 (예 : Bishop의 패턴 인식 및 기계 학습 및 기계 학습에 대한 Roger 및 Gerolami 첫 번째 과정). EM의 파생은 괜찮습니다. 이해합니다. 또한 알고리즘이 무언가에 적용되는 이유를 이해합니다. 각 단계에서 결과를 개선하고 가능성은 1.0로 제한됩니다. 따라서 간단한 사실 (함수가 증가하고 제한되면 수렴)을 사용하여 …

24 missing-data  convergence  expectation-maximization 

참고 : 기술적 인 이유로 본인의 게시물을 게시 할 수없는 이전 학생으로부터 질문을 게시하고 있습니다. pdf Weibull 분포 의 iid 표본 x1,…,xnx1,…,xnx_1,\ldots,x_n 을 고려하면 유용한 누락 변수 표현 따라서 대신 MLE을 찾는 데 사용할 수있는 관련 EM (예상 최대화) 알고리즘 간단한 수치 최적화?fk(x)=kxk−1e−xkx>0fk(x)=kxk−1e−xkx>0 f_k(x) = k x^{k-1} e^{-x^k} \quad x>0 …

24 optimization  missing-data  expectation-maximization  weibull  gumbel 

내가 아는 것으로부터 EM 알고리즘을 사용하여 가능성의 매개 변수와 관련하여 부분 도함수를 0으로 설정할 때 최대 가능성을 찾기 위해 분석적으로 해결할 수없는 일련의 방정식이 제공됩니다. 그러나 언급 된 일련의 방정식의 제약과 관련하여 최대한의 가능성을 찾기 위해 수치 기술을 사용하는 대신 EM 알고리즘이 필요합니다.

22 expectation-maximization 

주성분 분석 (PCA)을 수행 한 후 PCA 공간에 새 벡터를 투영하려고합니다 (즉, PCA 좌표계에서 해당 좌표를 찾습니다). 를 사용하여 R 언어로 PCA를 계산했습니다 prcomp. 이제 내 벡터에 PCA 회전 행렬을 곱할 수 있어야합니다. 이 매트릭스의 주요 구성 요소를 행 또는 열로 배열해야합니까?

21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

나는 수동으로 EM 알고리즘을 구현하고 다음의 결과를 비교하려는 normalmixEM의 mixtools패키지로 제공된다. 물론 둘 다 동일한 결과를 이끌어 내면 기쁠 것입니다. 주요 참고 자료는 Geoffrey McLachlan (2000), 유한 혼합물 모델 입니다. 나는 두 가지 가우시안의 혼합 밀도를 가지고 있으며 일반적으로 로그 가능성은 (McLachlan 48 페이지)에 의해 제공됩니다. logLc(Ψ)=∑i=1g∑j=1nzij{logπi+logfi(yi;θi)}.log⁡Lc(Ψ)=∑i=1g∑j=1nzij{log⁡πi+log⁡fi(yi;θi)}. \log L_c(\Psi) = …

20 r  expectation-maximization  gaussian-mixture 

이 질문은 교차 검증에서 답변 될 수 있기 때문에 Mathematics Stack Exchange에서 마이그레이션 되었습니다. 6 년 전에 이주했습니다 . EM 알고리즘 접근법에서 Jensen의 부등식을 사용하여 logp(x|θ)≥∫logp(z,x|θ)p(z|x,θ(k))dz−∫logp(z|x,θ)p(z|x,θ(k))dzlog⁡p(x|θ)≥∫log⁡p(z,x|θ)p(z|x,θ(k))dz−∫log⁡p(z|x,θ)p(z|x,θ(k))dz\log p(x|\theta) \geq \int \log p(z,x|\theta) p(z|x,\theta^{(k)}) dz - \int \log p(z|x,\theta) p(z|x,\theta^{(k)})dz θ(k+1)θ(k+1)\theta^{(k+1)}θ(k+1)=argmaxθ∫logp(z,x|θ)p(z|x,θ(k))dzθ(k+1)=arg⁡maxθ∫log⁡p(z,x|θ)p(z|x,θ(k))dz\theta^{(k+1)}=\arg \max_{\theta}\int \log p(z,x|\theta) p(z|x,\theta^{(k)}) dz EM에서 읽은 모든 내용은 그냥 쓰러지지 …

20 mixture  expectation-maximization 

가우스 혼합의 로그 가능성을 고려하십시오. l(Sn;θ)=∑t=1nlogf(x(t)|θ)=∑t=1nlog{∑i=1kpif(x(t)|μ(i),σ2i)}l(Sn;θ)=∑t=1nlog⁡f(x(t)|θ)=∑t=1nlog⁡{∑i=1kpif(x(t)|μ(i),σi2)}l(S_n; \theta) = \sum^n_{t=1}\log f(x^{(t)}|\theta) = \sum^n_{t=1}\log\left\{\sum^k_{i=1}p_i f(x^{(t)}|\mu^{(i)}, \sigma^2_i)\right\} 왜 그 방정식을 직접 최대화하는 것이 계산 상 어려운지 궁금했습니다. 나는 왜 어려운지 또는 왜 어려운지에 대한 더 엄격한 설명이 분명한 이유에 대한 명확한 직관을 찾고있었습니다. 이 문제가 NP-complete입니까, 아니면 아직 해결 방법을 모르십니까? 이것이 우리가 …

18 machine-learning  gaussian-mixture  expectation-maximization 

Markov Random Fields를 사용하여 이미지의 영역을 분할하는 방법을 배우려고합니다. MRF의 일부 매개 변수를 이해하지 못하거나 수행하는 기대 최대화가 때때로 솔루션에 수렴하지 못하는 이유를 이해하지 못합니다. 베이 즈 정리에서 시작하여 . 여기서 y 는 픽셀의 회색조 값이고 x 는 클래스 레이블입니다. p ( y | x )에 대해 Gaussian 분포를 사용하기로 …

16 expectation-maximization  image-processing  classification 

EM 절차는 초기에 거의 흑 마법으로 나타납니다. 감독 된 데이터를 사용하여 HMM의 매개 변수를 추정하십시오 (예 :). 그런 다음 태그가없는 것처럼 'count'이벤트를 앞뒤로 사용하여 태그가 지정되지 않은 데이터를 디코딩합니다. 이것이 왜 모델을 더 좋게 만드는가? 나는 수학에 대해 뭔가를 알고 있지만, 어떤 종류의 수학 그림을 계속 희망하고 있습니다.

16 expectation-maximization  intuition 

혼합 모델 (가우스 혼합, 은닉 마르코프 모델 등)에 대한 기대 최대화 방법을 강조하는 문헌이 많이 있습니다. EM이 중요한 이유 EM은 최적화를 수행하는 방법 일 뿐이며 그라디언트 기반 방법 (그라데이션 디센트 또는 뉴턴 / 쿼이 뉴턴 방법) 또는 여기에서 논의 된 기타 그라디언트 프리 방법으로 널리 사용되지는 않습니다 . 또한 EM은 …

15 machine-learning  optimization  expectation-maximization  gaussian-mixture 

k- 평균 이 일반적으로 Expectation Maximization을 사용하여 최적화 된다는 것을 알고 있습니다. 그러나 다른 최적화 방법과 동일하게 손실 기능을 최적화 할 수 있습니다! 실제로 대규모 k- 평균에 확률 론적 경사 하강 을 사용하는 일부 논문을 찾았 지만 질문에 대한 답변을 얻을 수 없었습니다. 왜 그런지 아는 사람이 있습니까? 기대 극대화가 …

14 optimization  k-means  expectation-maximization  loss-functions