«entropy» 태그된 질문

예측자가 직면 한 중요한 문제 중 하나는 주어진 시리즈 를 예측할 수 있는지 여부입니다. 필자 는 주어진 시계열을 결정하기 위해 대략적인 엔트로피 (ApEn) 를 상대적인 척도로 사용하는 Peter Catt의 " 우선 순위 예측 지표의 엔트로피 "라는 기사를 우연히 발견했습니다 . 기사는 말합니다 "작은 ApEn 값은 데이터 집합 뒤에 유사한 데이터 …

10 time-series  forecasting  entropy  maximum-entropy  forecastability 

교차 엔트로피와 난처함의 관계를 이해하려고 노력합니다. 일반적으로 모델 M의 경우 Perplexity (M) = 2 ^ entropy (M) 입니다. 이 관계는 모든 다른 n-gram, 예를 들어 unigram, bigram 등에 적용됩니까?

10 natural-language  entropy  perplexity 

Caffe (딥 러닝 프레임 워크) 는 대부분의 모델 샘플 에서 출력 레이어 SoftmaxWithLoss 로 Softmax Loss Layer 를 사용했습니다 . 내가 아는 한, Softmax Loss 레이어 는 Multinomial Logistic Loss Layer 와 Softmax Layer 의 조합입니다 . 카페에서 그들은 Softmax Loss Layer 그래디언트 계산이 수치 적으로 더 안정적입니다 그러나이 설명은 …

9 multinomial  entropy  sums-of-squares  softmax 

표준화 된 형태의 상호 정보를 이해하려고합니다. n p m i =p m i ( x , y)L O g( p ( x , y) )npmi=pmi(x,y)log(p(x,y))npmi = \frac{pmi(x,y)}{log(p(x,y))} 로그 결합 확률이 점별 상호 정보를 [-1, 1] 사이로 정규화하는 이유는 무엇입니까? 포인트 별 상호 정보는 다음과 같습니다. P는 m은 난 = L …

9 entropy  information-theory  mutual-information 

짧은 질문 : 왜 이것이 사실입니까? 긴 질문 : 간단히 말해서, 나는 첫 번째 방정식을 정당화하는 것을 알아 내려고 노력하고 있습니다. 내가 읽고있는이 책의 저자 ( 원한다면 여기에 문맥 은 있지만 필수는 아님)는 다음을 주장합니다. 거의 가우스의 가정으로 인해 다음과 같이 쓸 수 있습니다. 피0( ξ) = Aϕ ( ξ)e …

9 probability  normal-distribution  entropy  maximum-entropy 

그래서, 나는 16 개의 시험을 가지고 있는데, 여기에서 Hamming Distance를 사용하여 생체 특성으로부터 사람을 인증하려고합니다. 임계 값이 3.5로 설정되었습니다. 내 데이터는 다음과 같으며 1 번 시험 만 참 긍정입니다. Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6 0.47 7 0.47 8 0.32 9 0.39 …

9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

인사말, 현재 R에서 다음을 수행하고 있습니다. require(zoo) data <- read.csv(file="summary.csv",sep=",",head=TRUE) cum = zoo(data$dcomp, as.Date(data$date)) data = zoo(data$compressed, as.Date(data$date)) data <- aggregate(data, identity, tail, 1) cum <- aggregate(cum, identity, sum, 1) days = seq(start(data), end(data), "day") data2 = na.locf(merge(data, zoo(,days))) plot(data2,xlab='',ylab='compressed bytes',col=rgb(0.18,0.34,0.55)) lines(cum,type="h",col=rgb(0,0.5,0)) summary.csv의 조각 : date,revision,file,lines,nclass,nattr,nrel,bytes,compressed,diff,dcomp 2007-07-25,16,model.xml,96,11,22,5,4035,991,0,0 2007-07-27,17,model.xml,115,16,26,6,4740,1056,53,777 2007-08-09,18,model.xml,106,16,26,7,4966,1136,47,761 2007-08-10,19,model.xml,106,16,26,7,4968,1150,4,202 …

9 r  time-series  data-visualization  entropy