«optimization» 태그된 질문

선형 지원 벡터 머신 을 훈련시키는 프로세스를 이해하려고 합니다 . SMV의 속성을 통해 2 차 프로그래밍 솔버를 사용하는 것보다 훨씬 빠르게 최적화 할 수 있지만 학습을 위해 이것이 어떻게 작동하는지 알고 싶습니다. 훈련 데이터 set.seed(2015) df <- data.frame(X1=c(rnorm(5), rnorm(5)+5), X2=c(rnorm(5), rnorm(5)+3), Y=c(rep(1,5), rep(-1, 5))) df X1 X2 Y 1 -1.5454484 …

12 r  svm  optimization 

추정 할 모델 매개 변수 고려할 때 데이터 의 확률에 대한 가능성 함수 이 있습니다. 모수에 대해 사전에 평평하다고 가정하면, 그 가능성은 사후 확률에 비례합니다. 이 확률을 샘플링하기 위해 MCMC 방법을 사용합니다.L (일| θ)엘(디|θ)\mathcal{L}(d | \theta)디디dθ ∈ R엔θ∈아르 자형엔\theta \in \mathbf{R}^N 결과 수렴 체인을 살펴보면 최대 가능성 매개 변수가 사후 …

11 bayesian  maximum-likelihood  optimization  inference  mcmc 

참고 문헌에 따르면 1 권 , 2 권 과 종이 . 정규화 된 회귀 (Ridge, LASSO 및 Elastic Net)와 제약 조건 간에는 동등한 내용이 언급되어 있습니다. Cross Validated 1 및 Cross Validated 2 도 살펴 보았지만 그 동등성 또는 논리에 대한 명확한 답변을 볼 수는 없습니다. 내 질문은 Karush–Kuhn–Tucker (KKT)를 …

11 regression  optimization  lasso  ridge-regression  elastic-net 

Ridge 또는 Lasso에서 정규화 매개 변수 람다를 선택할 때 권장되는 방법은 다른 람다 값을 시도하고 유효성 검사 세트에서 오류를 측정 한 다음 마지막으로 가장 낮은 오류를 반환하는 람다 값을 선택하는 것입니다. 함수 f (lambda) = error가 볼록한 경우 나에게 오지 않습니다. 이렇게 될 수 있을까요? 즉,이 곡선은 하나 이상의 지역 …

11 cross-validation  error  regularization  validation  optimization 

검색에 단어 최적화 및 확률론이 거의 자동으로 확률 론적 최적화에 대한 검색으로 기본 설정되어 있기 때문에 이것은 나에게 구글에게 힘든 주제입니다. 그러나 내가 정말로 알고 싶은 것은 컴퓨터 모델 출력이 확률적일 때, 즉 결정적이지 않을 때 컴퓨터 모델을 최적화하기 위해 어떤 방법이 존재하는지입니다. 예를 들어, 컴퓨터 모델 의 출력을 나타내는 …

11 optimization  stochastic-processes 

저의 미용사 인 스테이시는 항상 행복한 표정을 짓지 만 종종 그녀의 시간 관리에 스트레스를받습니다. 오늘 Stacey는 나의 약속에 대해 기한이 지났고 매우 사과했습니다. 내 이발을받는 동안 나는 그녀의 표준 약속이 얼마나 오래 걸리나요? (깨끗한 라운드 번호에 대한 고객의 선호가 잠시 무시 될 수있는 경우). 고려해야 할 사항은 매우 늦은 고객이 …

11 normal-distribution  optimization  queueing  decision-theory 

함수 최적화를 위해 Nelder-Mead 알고리즘을 구현하려고합니다. Nelder-미드에 대한 위키 페이지 의 정지 기준을 제외하고, 전체 알고리즘에 대한 놀라 울 정도로 분명하다. 슬프게도 다음과 같이 말합니다. 수렴을 확인하십시오 [설명 필요] . 나는 두 가지 기준을 직접 시도하고 테스트했다. 중지하면 f(xN+1)−f(x1)&lt;ϵ에프(엑스엔+1)−에프(엑스1)&lt;ϵf(x_{N+1}) - f(x_1) < \epsilon 여기서 ϵϵ\epsilon 작고, 여기서 은 IS 번째 …

11 optimization  algorithms 

mgcv에 대한 패키지는 R텐서 제품의 상호 작용을 피팅에 대한 두 가지 기능이 있습니다 : te()와 ti(). 나는 둘 사이의 기본 노동 분열을 이해한다 (비선형 상호 작용에 적합하고이 상호 작용을 주요 효과와 상호 작용으로 분해). 내가 이해할 수없는 것은 왜 te(x1, x2)와 ti(x1) + ti(x2) + ti(x1, x2)(약간) 다른 결과가 발생할 …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

내가 건너 온 이 슬라이드 온라인 교육 과정 중 하나 (슬라이드 # 16 &amp; # 17). 강사는 최대 후방 추정치 (MAP)가 실제로 솔루션 인 방법을 설명하려고했습니다 . 여기서 는 참 매개 변수.L(θ)=I[θ≠θ∗]L(θ)=I[θ≠θ∗]L(\theta) = \mathcal{I}[\theta \ne \theta^{*}]θ∗θ∗\theta^{*} 누군가 이것이 어떻게 진행되는지 설명해 주시겠습니까? 편집 : 링크가 끊어 질 경우 슬라이드를 추가했습니다.

10 bayesian  optimization  loss-functions  decision-theory  map-estimation 

LASSO 회귀에 대한 나의 이해는 최소화 문제를 해결하기 위해 회귀 계수가 선택된다는 것입니다. minβ∥y−Xβ∥22 s.t.∥β∥1≤tminβ‖y−Xβ‖22 s.t.‖β‖1≤t\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t 실제로 이것은 Lagrange multiplier를 사용하여 수행되므로 문제를 해결할 수 있습니다. 분β∥ y− Xβ∥22+ λ ∥ β∥1minβ‖y−Xβ‖22+λ‖β‖1\min_\beta \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 λλ\lambda 와 …

10 optimization  lasso  regularization  lagrange-multipliers 

I는 설계 행렬 있다면 여기서, 차원의 관찰의 수이고 , 풀면의 복잡성 무엇 LASSO, wrt 및 와 함께 ? 대답은 달리 느끼지 않는 한 반복 횟수 (수렴)가 어떻게 조정되는지가 아니라 하나의 LASSO 반복이 이러한 매개 변수로 스케일링 되는 방식을 참조해야한다고 생각합니다 . N 거라고 β = argmin β 1X∈Rn×dX∈Rn×dX\in\mathcal{R}^{n\times d}nnndddN의Dβ^=argminβ12n||Xβ−y||2+λ||β||1β^=argminβ12n||Xβ−y||2+λ||β||1\hat{\beta}=\text{argmin}_{\beta}\frac{1}{2n} ||X\beta-y||^{2} …

10 optimization  lasso  regularization  time-complexity 

Tensorflow mnist 튜토리얼 ( https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/tutorials/mnist/mnist_softmax.py )을 따르고 있습니다 . 튜토리얼은 tf.train.Optimizer.minimize(특히 tf.train.GradientDescentOptimizer)를 사용합니다 . 그라디언트를 정의하기 위해 인수가 전달되는 곳이 없습니다. 텐서 흐름은 기본적으로 수치 미분을 사용합니까? 당신이 할 수있는 것처럼 그라디언트를 전달하는 방법이 scipy.optimize.minimize있습니까?

10 python  optimization  tensorflow 

Elo 등급 시스템은 쌍 비교에서 결과의 예상 확률과 관측 확률 사이의 교차 엔트로피 손실 함수의 경사 하강 최소화 알고리즘을 사용합니다. 일반적인 손실 함수를 다음과 같이 작성할 수 있습니다. E=−∑n,ipiLog(qi)E=−∑n,ipiLog(qi) E=-\sum_{n,i} p_i Log (q_i) 여기서 합계는 모든 결과 및 모든 상대 됩니다. 는 이벤트 의 관측 된 주파수 이고 는 예상 …

10 regression  optimization  rating 

기본적으로 유사성 측정 값을 예측 변수로 사용되는 가중치로 변환하려고합니다. 유사점은 [0,1]에 있으며 가중치는 [0,1]에도 제한됩니다. 그래디언트 디센트를 사용하여 최적화 할 수있는이 매핑을 수행하는 매개 변수 함수를 원합니다. 요구 사항은 0은 0에 매핑되고 1은 1에 매핑되며 엄격하게 증가하고 있습니다. 간단한 파생 상품도 인정됩니다. 미리 감사드립니다 편집 : 지금까지 답변 주셔서 감사합니다, …

10 optimization  curve-fitting 

R에 이산 시간 모델을 맞추려고하지만 어떻게 해야할지 모르겠습니다. 종속 변수를 각 시간 관찰마다 하나씩 다른 행 glm으로 구성하고 logit 또는 cloglog 링크와 함께 함수를 사용할 수 있다는 것을 읽었습니다. 이런 의미에서, 나는 세 개의 열이 있습니다 : ID, Event(각 시간 경과시 1 또는 0) 및 Time Elapsed(관측 시작부터 ) 그리고 …

10 r  survival  pca  sas  matlab  neural-networks  r  logistic  spatial  spatial-interaction-model  r  time-series  econometrics  var  statistical-significance  t-test  cross-validation  sample-size  r  regression  optimization  least-squares  constrained-regression  nonparametric  ordinal-data  wilcoxon-signed-rank  references  neural-networks  jags  bugs  hierarchical-bayesian  gaussian-mixture  r  regression  svm  predictive-models  libsvm  scikit-learn  probability  self-study  stata  sample-size  spss  wilcoxon-mann-whitney  survey  ordinal-data  likert  group-differences  r  regression  anova  mathematical-statistics  normal-distribution  random-generation  truncation  repeated-measures  variance  variability  distributions  random-generation  uniform  regression  r  generalized-linear-model  goodness-of-fit  data-visualization  r  time-series  arima  autoregressive  confidence-interval  r  time-series  arima  autocorrelation  seasonality  hypothesis-testing  bayesian  frequentist  uninformative-prior  correlation  matlab  cross-correlation