«gaussian-mixture» 태그된 질문

10 차원을 갖는 데이터 세트 X가 있는데 그 중 4는 이산 값입니다. 실제로,이 4 개의 이산 변수는 순 서적입니다. 즉, 값이 클수록 의미가 높거나 높습니다. 이 불연속 변수 중 2 개는 이러한 변수 각각에 대해 11에서 12까지의 거리가 5에서 6까지의 거리와 동일하지 않다는 점에서 범주 형입니다. 반드시 선형 일 필요는 …

33 clustering  k-means  discrete-data  continuous-data  gaussian-mixture 

GMM에 대한 EM 알고리즘과 GMM과 k- 평균 간의 관계에 대한 Bishop을 읽고 있습니다. 이 책에서는 k-means가 GMM의 하드 할당 버전이라고 말합니다. 클러스터링하려는 데이터가 가우시안이 아닌 경우 k- 평균을 사용할 수 없거나 적어도 사용하기에 적합하지 않다는 것을 궁금합니다. 예를 들어, 데이터가 각각 0 또는 1의 값을 가진 8 * 8 픽셀로 …

21 clustering  data-mining  k-means  gaussian-mixture 

나는 수동으로 EM 알고리즘을 구현하고 다음의 결과를 비교하려는 normalmixEM의 mixtools패키지로 제공된다. 물론 둘 다 동일한 결과를 이끌어 내면 기쁠 것입니다. 주요 참고 자료는 Geoffrey McLachlan (2000), 유한 혼합물 모델 입니다. 나는 두 가지 가우시안의 혼합 밀도를 가지고 있으며 일반적으로 로그 가능성은 (McLachlan 48 페이지)에 의해 제공됩니다. logLc(Ψ)=∑i=1g∑j=1nzij{logπi+logfi(yi;θi)}.log⁡Lc(Ψ)=∑i=1g∑j=1nzij{log⁡πi+log⁡fi(yi;θi)}. \log L_c(\Psi) = …

20 r  expectation-maximization  gaussian-mixture 

가우스 혼합의 로그 가능성을 고려하십시오. l(Sn;θ)=∑t=1nlogf(x(t)|θ)=∑t=1nlog{∑i=1kpif(x(t)|μ(i),σ2i)}l(Sn;θ)=∑t=1nlog⁡f(x(t)|θ)=∑t=1nlog⁡{∑i=1kpif(x(t)|μ(i),σi2)}l(S_n; \theta) = \sum^n_{t=1}\log f(x^{(t)}|\theta) = \sum^n_{t=1}\log\left\{\sum^k_{i=1}p_i f(x^{(t)}|\mu^{(i)}, \sigma^2_i)\right\} 왜 그 방정식을 직접 최대화하는 것이 계산 상 어려운지 궁금했습니다. 나는 왜 어려운지 또는 왜 어려운지에 대한 더 엄격한 설명이 분명한 이유에 대한 명확한 직관을 찾고있었습니다. 이 문제가 NP-complete입니까, 아니면 아직 해결 방법을 모르십니까? 이것이 우리가 …

18 machine-learning  gaussian-mixture  expectation-maximization 

혼합 모델 (가우스 혼합, 은닉 마르코프 모델 등)에 대한 기대 최대화 방법을 강조하는 문헌이 많이 있습니다. EM이 중요한 이유 EM은 최적화를 수행하는 방법 일 뿐이며 그라디언트 기반 방법 (그라데이션 디센트 또는 뉴턴 / 쿼이 뉴턴 방법) 또는 여기에서 논의 된 기타 그라디언트 프리 방법으로 널리 사용되지는 않습니다 . 또한 EM은 …

15 machine-learning  optimization  expectation-maximization  gaussian-mixture 

나는 X와 Y의 두 변수를 가지고 클러스터를 최대 (및 최적) = 5로 만들어야합니다. 변수의 이상적인 플롯은 다음과 같습니다. 이 클러스터를 5 개 만들고 싶습니다. 이 같은: 따라서 이것이 5 개의 군집을 가진 혼합 모형이라고 생각합니다. 각 군집에는 중심점이 있고 그 주위에 신뢰 원이 있습니다. 클러스터는 항상 이와 같은 것은 아니며 …

15 r  clustering  gaussian-mixture 

순열 검정 (랜덤 화 검정, 재 랜덤 화 검정 또는 정확한 검정이라고도 함)은 매우 유용하며, 예를 들어 요구되는 정규 분포 가정이 t-test충족되지 않고 순위에 따라 값을 변환 할 때 유용합니다. 비모수 테스트 Mann-Whitney-U-test는 더 많은 정보가 손실 될 수 있습니다. 그러나 이러한 종류의 테스트를 사용할 때 단 하나의 가정 만 …

15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 

패턴 인식 및 기계 학습 책 9 장에는 가우스 혼합 모델에 대한이 부분이 있습니다. 솔직히 말해서 이것이 왜 특이점을 만드는지 이해하지 못합니다. 누구든지 나에게 이것을 설명 할 수 있습니까? 죄송하지만 머신 러닝 분야의 학부생이자 초보자이므로 제 질문에 약간 어리석은 소리가 들리지만 도와주세요. 대단히 감사합니다

15 gaussian-mixture 

가우시안 혼합 모델 (GMMs)은 분석적으로나 실제적으로 작업하기가 간단하고 너무 복잡하지 않은 일부 이국적인 분포를 모델링 할 수 있기 때문에 매력적입니다. 일반적으로 명확하지 않은 몇 가지 분석 속성이 있습니다. 특히: SnSnS_n 이 nnn 성분을 가진 모든 가우시안 혼합물의 클래스 라고 가정하십시오 . 실수에 대한 지속적인 분포 에 대해 , 우리는 이 …

14 probability  normal-distribution  references  gaussian-mixture  information-theory 

가우시안이 가우시안이라는 것을 알고 있습니다. 가우시안 혼합은 어떻게 다른가요? 가우시안 혼합은 가우시안의 합일뿐입니다 (각 가우시안에 각 혼합 계수를 곱한 값)?

13 normal-distribution  random-variable  mixture  gaussian-mixture 

여기서 가우스 혼합 모델을 시도하는 동안 이 4 가지 공분산 유형을 찾았습니다. 'full' (each component has its own general covariance matrix), 'tied' (all components share the same general covariance matrix), 'diag' (each component has its own diagonal covariance matrix), 'spherical' (each component has its own single variance). 나는 각 유형에 …

13 covariance-matrix  gaussian-mixture 

저는 연령대가 다른 어린이를위한 인체 치수의 분포 (어깨 폭과 같은)에 대한 정보를 가지고 있습니다. 각 연령과 치수에 대해 평균 표준 편차가 있습니다. (또한 8 개의 Quantile이 있지만 원하는 것을 얻을 수 없다고 생각합니다.) 각 차원마다 길이 분포의 특정 Quantile을 추정하고 싶습니다. 각 치수가 정규 분포를 따른다고 가정하면 평균 및 표준 …

13 normal-distribution  quantiles  gaussian-mixture  aggregation 

R 패키지 mclust는 BIC를 클러스터 모델 선택의 기준으로 사용합니다. 내 이해에서 BIC가 가장 낮은 모델을 다른 모델보다 선택해야합니다 (BIC에만 관심이있는 경우). 그러나 BIC 값이 모두 음수 인 경우 Mclust함수는 기본적으로 BIC 값이 가장 높은 모델로 설정됩니다. 다양한 시험에서 얻은 전반적인 이해는 mclust"최고의"모델을 모델로 식별 한다는 것 입니다.max{BICi}max{BICi}max\{BIC_i\} 저자가 왜이 결정을했는지 …

11 r  clustering  gaussian-mixture  bic  model-based-clustering 

mgcv에 대한 패키지는 R텐서 제품의 상호 작용을 피팅에 대한 두 가지 기능이 있습니다 : te()와 ti(). 나는 둘 사이의 기본 노동 분열을 이해한다 (비선형 상호 작용에 적합하고이 상호 작용을 주요 효과와 상호 작용으로 분해). 내가 이해할 수없는 것은 왜 te(x1, x2)와 ti(x1) + ti(x2) + ti(x1, x2)(약간) 다른 결과가 발생할 …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

다른 클러스터링 방법을 비교하기 위해 빠른 시뮬레이션을 실행 중이며 현재 클러스터 솔루션을 평가하려고 시도 중입니다. 다양한 유효성 검사 메트릭 ( R의 cluster.stats () 에서 발견 됨)에 대해 알고 있지만 예상 클러스터 수가 실제 클러스터 수와 같으면 가장 잘 사용된다고 가정합니다. 원래 시뮬레이션에서 올바른 수의 클러스터를 지정하지 않은 경우 클러스터링 솔루션의 …

11 clustering  kullback-leibler  gaussian-mixture