«optimization» 태그된 질문

ML (machine learning) 알고리즘의 기울기 하강 최적화를 이해하려고합니다. 오류 를 최소화하는 것이 목적인 비용 함수가 있음을 이해합니다 . 가중치는 시나리오 최소 오차를 제공하도록 최적화되고 있으며, 편미분이 사용되고 있으며,이 모두 변경 않는다 및 단지 소수의 반복에서, 각 단계에서 또는 그 조합 (예이다 변경되고 경우 더욱, 미분 시작하는 오류를 감소되지 )? 응용 …

9 optimization  gradient-descent 

그래서 나는 신경망을 가르치려고 노력하고 있습니다 (고양이 그림을 분류하지 않고 회귀 응용 프로그램을 위해). 나의 첫 번째 실험은 FIR 필터와 Discrete Fourier Transform ( "전"및 "후"신호에 대한 훈련)을 구현하기 위해 네트워크를 훈련시키는 것이었다. 왜냐하면 그것들은 활성화 기능이없는 단일 계층에 의해 구현 될 수있는 선형 연산이기 때문이다. 둘 다 잘 작동했습니다. …

9 machine-learning  neural-networks  optimization  keras  euclidean 

고정 단계 크기 사용하여 2 차 함수 최소화하면서 기울기 정도에 대한 장난감 예제를 수행한다고 가정합니다 . ( )엑스티XxTAxx^TAxα = 0.03α=0.03\alpha=0.03A = [ 10 , 2 ; 2 , 3 ]A=[10,2;2,3]A=[10, 2; 2, 3] 각 반복에서 의 트레이스를 플로팅하면 다음 그림이 나타납니다. 고정 스텝 크기를 사용할 때 왜 포인트가 "조밀하게"표시 됩니까? …

9 r  machine-learning  optimization  gradient-descent 

이미지에서 상자의 (x, y) 위치를 예측하는 작업 인 회귀를위한 간단한 회선 신경 네트워크를 훈련하고 있습니다. 네트워크의 출력에는 x와 y에 각각 하나씩 두 개의 노드가 있습니다. 나머지 네트워크는 표준 컨볼 루션 신경망입니다. 손실은 상자의 예측 위치와 실제 위치 사이의 표준 평균 제곱 오차입니다. 이 이미지 중 10000 개를 교육하고 2000 년에 …

9 machine-learning  neural-networks  optimization  deep-learning  loss-functions 

일부 기대치를 계산한다고 가정 해보십시오. 이자형와이이자형엑스| 와이[ f( X, Y) ]EYEX|Y[f(X,Y)]E_YE_{X|Y}[f(X,Y)] Monte Carlo 시뮬레이션을 사용하여이를 근사한다고 가정합니다. 이자형와이이자형엑스| 와이[ f( X, Y) ] ≈1R S∑r = 1아르 자형∑s = 1에스에프(엑스r , s,와이아르 자형)EYEX|Y[f(X,Y)]≈1RS∑r=1R∑s=1Sf(xr,s,yr)E_YE_{X|Y}[f(X,Y)] \approx \frac1{RS}\sum_{r=1}^R\sum_{s=1}^Sf(x^{r,s},y^r) 그러나 두 분포에서 표본을 추출하는 데 비용이 많이 든다고 가정하면 고정 된 숫자 만 그릴 …

9 optimization  conditional-probability  simulation  expected-value  monte-carlo 

바닐라 하위 그라데이션 방법을 통해 Lasso를 해결하려고했습니다. 그러나 Proximal gradient descent 사용을 제안하는 사람들을 읽었습니다. 누군가가 바닐라 하위 그라데이션 방법 대신 근위 GD가 올가미에 사용되는 이유를 강조 할 수 있습니까?

9 machine-learning  optimization  lasso  gradient-descent 

저자는 OLS를 다루는 나의 계량 경제학 교과서 (Introductory Econometrics)에서 "설명 변수가 추가 될 때 SSR이 떨어져야한다"고 썼다. 왜 그렇습니까?

9 regression  optimization  econometrics  intuition  sums-of-squares 

일부 이차 최적화 문제를 해결하는 데 도움이되는 패키지를 찾고 있으며 적어도 6 개의 다른 패키지가 있음을 알 수 있습니다. 이 페이지 에 따르면 : QP (Quadratic programming, 90C20) : cplexAPI , kernlab , limSolve , LowRankQP , quadprog , Rcplex , Rmosek 이 중 일부 (Rmosek 및 cplexAPI)는 다른 독점 …

9 r  optimization 

glmR에서 함수를 사용할 때 기본적 으로이 함수는 반복적으로 가중 된 최소 제곱 (IWLS) 방법을 사용하여 모수를 추정 할 수있는 최대 가능성을 찾습니다. 이제 두 가지 질문이 있습니다. IWLS 추정은 가능성 함수의 전체 최대 값을 보장합니까? 이 프레젠테이션 의 마지막 슬라이드를 기반으로 , 나는 그렇지 않다고 생각합니다! 나는 단지 그것을 확인하고 …

9 r  estimation  generalized-linear-model  maximum-likelihood  optimization 

R에서 optim을 사용하여 로그 우도 함수를 최대화하여 추정 된 모수에 대한 프로파일 링을 사용하여 95 % 신뢰 구간을 추정하려면 어떻게해야합니까? 나는 hessian을 뒤집어 공분산 행렬을 무증상으로 추정 할 수 있다는 것을 알고 있지만 내 데이터 가이 방법이 유효하기 위해 필요한 가정을 충족시키지 않을까 걱정하고 있습니다. 다른 방법을 사용하여 신뢰 구간을 …

9 r  confidence-interval  maximum-likelihood  optimization  profile-likelihood 

이것은 다소 일반적인 질문이지만 통계와 관련이있는 것은 아니지만 저자가 다음과 같은 접근 방식을 선호하는 기계 학습 및 통계 문헌의 추세를 발견했습니다. 접근법 1 : 전 세계적으로 최적의 솔루션을 찾는 것이 가능한 (예를 들어, 계산적 관점에서) 비용 함수를 공식화함으로써 (예를 들어 볼록한 비용 함수를 공식화함으로써) 실제 문제에 대한 솔루션을 얻는다. 오히려 …

9 optimization  function 

통계학자를 대상으로 한 수치 최적화 기술에 대한 견고한 참조 (또는 참조)를 찾고 있습니다. 즉, 이러한 방법을 일부 표준 추론 문제 (예 : 공통 모델의 MAP / MLE)에 적용합니다. 경사 하강 (직선 및 확률 론적), EM 및 스핀 오프 / 일반화, 시뮬레이션 어닐링 등 구현에 대한 실용적인 메모가 있기를 바랍니다 (종종 …

9 estimation  references  optimization 

그래서, 나는 16 개의 시험을 가지고 있는데, 여기에서 Hamming Distance를 사용하여 생체 특성으로부터 사람을 인증하려고합니다. 임계 값이 3.5로 설정되었습니다. 내 데이터는 다음과 같으며 1 번 시험 만 참 긍정입니다. Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6 0.47 7 0.47 8 0.32 9 0.39 …

9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction