«machine-learning» 태그된 질문

방법 선택을위한 이론적 프레임 워크 (주 : 모델 선택이 아님)를 조사해 왔으며 체계적이고 수학적으로 동기 부여 된 작업이 거의 발견되지 않았습니다. '방법 선택'이란 문제 또는 문제 유형과 관련하여 적절한 (또는 더 나은 최적의) 방법을 구별하기위한 프레임 워크를 의미합니다. 내가 발견 한 것은 단편적 인 경우 특정 방법과 해당 튜닝 (즉, …

11 machine-learning  methodology  theory 

Facebook의 선지자 에 대해 읽은 것은 기본적으로 시계열을 추세와 계절성으로 분류한다는 것입니다. 예를 들어, 추가 모델은 다음과 같이 작성됩니다. 와이( t ) = g( t ) + s ( t ) + h ( t ) + e티y(t)=g(t)+s(t)+h(t)+et y(t) = g(t) + s(t) + h(t) + e_t 와 티tt 시간을 …

11 regression  machine-learning  time-series  prophet 

SVM에 대한 나의 이해는 로지스틱 회귀 (LR)와 매우 유사하다는 것입니다. 즉, 가중 된 기능의 합이 시그 모이 드 함수에 전달되어 클래스에 속할 확률을 얻지 만 교차 엔트로피 (물리적) 손실 대신 기능, 훈련은 힌지 손실을 사용하여 수행됩니다. 힌지 손실을 사용하면 얻을 수있는 이점은 커널을보다 효율적으로 만들기 위해 다양한 수치 트릭을 수행 …

11 machine-learning  logistic  svm 

mgcv에 대한 패키지는 R텐서 제품의 상호 작용을 피팅에 대한 두 가지 기능이 있습니다 : te()와 ti(). 나는 둘 사이의 기본 노동 분열을 이해한다 (비선형 상호 작용에 적합하고이 상호 작용을 주요 효과와 상호 작용으로 분해). 내가 이해할 수없는 것은 왜 te(x1, x2)와 ti(x1) + ti(x2) + ti(x1, x2)(약간) 다른 결과가 발생할 …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

다른 자체 정의 범주에 속하는 단어 목록이 있습니다. 각 범주에는 고유 한 패턴이 있습니다 (예를 들어, 하나는 특수 문자로 고정 길이를 가지며 다른 하나는이 범주에서 "단어"등으로 나타나는 문자가 존재 함). 예를 들면 다음과 같습니다. "ABC" -> type1 "ACC" -> type1 "a8 219" -> type2 "c 827" -> type2 "ASDF 123" …

11 machine-learning  classification  similarities  supervised-learning 

pg. 통계 학습 입문의 34 : \newcommand{\Var}{{\rm Var}} 수학적 증명이 책의 범위를 넘어이지만, 예상 시험 MSE는, 주어진 값에 대한 것을 보여 할 수 x0x0x_0 : 항상 세 가지 기본 수량의 합계로 분해 될 수있는 분산 의 f^(x0)f^(x0)\hat{f}(x_0) , 제곱 바이어스 의 f^(x0)f^(x0)\hat{f}(x_0) 에러 조건의 편차 εε\varepsilon . 그건, E(y0−f^(x0))2=Var(f^(x0))+[Bias(f^(x0))]2+Var(ε)E(y0−f^(x0))2=Var(f^(x0))+[Bias(f^(x0))]2+Var(ε) E\left(y_0 …

11 machine-learning  variance 

최근에는 앙상블 학습의 한 형태 인 모델 스태킹에 관심을 가지게되었습니다. 특히 회귀 문제에 대한 장난감 데이터 세트를 약간 실험했습니다. 나는 기본적으로 개별 "레벨 0"회귀자를 구현하고, 각 회귀 분석기의 출력 예측을 "메타 회귀 분석기"가 입력으로 사용할 수있는 새로운 기능으로 저장하고이 메타 회귀기를 이러한 새로운 기능 (수준에서의 예측)에 맞추 었습니다. 회귀 자 …

11 machine-learning  ensemble  stacking 

특정 레이어의 활성화 맵이 해당 레이어의 필터에 어떻게 연결되어 있습니까? 필터와 활성화 맵 사이에서 컨볼 루션 연산을 수행하는 방법에 대해 묻지 않고이 두 가지 연결 유형에 대해 묻습니다. 예를 들어, 완전한 연결을 원한다고 가정하십시오. 주어진 레이어에 f 개의 필터와 n 개의 활성화 맵이 있습니다. 다음 레이어에서 f * n 개의 …

11 machine-learning  deep-learning  conv-neural-network 

역 전파를 사용하여 SVM을 훈련시킬 수 있는지 (예를 들어 선형적인 것을 만들 수 있는지) 궁금합니다. 현재 분류기의 출력 을 f(x;θ,b)=sgn(θ⋅x−(b+1))=sgn(g(x;θ,b))f(x;θ,b)=sgn(θ⋅x−(b+1))=sgn(g(x;θ,b)) f(\mathbf{x};\theta,b) = \text{sgn}(\theta\cdot\mathbf{x} - (b+1)) = \text{sgn}(g(\mathbf{x};\theta,b)) 따라서 "역방향 패스"(전파 된 오류)를 계산하려고하면 보낸 유도체 는 ∂E∂x=∂E∂f(x;θ,b)∂f(x;θ,b)x=∂E∂f(x;θ,b)∂sgn(g(x;θ,b))∂g(x;θ,b)∂g(x;θ,b)∂x=δdsgn(z)dzθ=δ⋅0⋅θ=0∂E∂x=∂E∂f(x;θ,b)∂f(x;θ,b)x=∂E∂f(x;θ,b)∂sgn(g(x;θ,b))∂g(x;θ,b)∂g(x;θ,b)∂x=δdsgn(z)dzθ=δ⋅0⋅θ=0 \begin{align} \frac{\partial E}{\partial \mathbf{x}} &= \frac{\partial E}{\partial f(\mathbf{x};\theta,b)} \frac{\partial f(\mathbf{x};\theta,b)}{\mathbf{x}} \\ &= \frac{\partial …

11 machine-learning  neural-networks  svm  gradient-descent  backpropagation 

이것은 scikit GradientBoosting의 이항 이탈 손실 함수입니다. def __call__(self, y, pred, sample_weight=None): """Compute the deviance (= 2 * negative log-likelihood). """ # logaddexp(0, v) == log(1.0 + exp(v)) pred = pred.ravel() if sample_weight is None: return -2.0 * np.mean((y * pred) - np.logaddexp(0.0, pred)) else: return (-2.0 / sample_weight.sum() * …

11 machine-learning  scikit-learn  boosting  loss-functions 

신경망 (NNs)은 특정 가정 (네트워크 및 근사 함수)에서 함수 및 그 파생어에 대한 보편적 근사기로 간주 될 수 있음을 이해합니다. 사실, 단순하지만 사소한 함수 (예 : 다항식)에 대해 여러 가지 테스트를 수행했으며 실제로 함수와 첫 번째 미분을 대략적으로 근사 할 수있는 것 같습니다 (예는 아래에 표시됨). 그러나 나에게 분명하지 않은 …

11 machine-learning  neural-networks  function  derivative 

신경망으로 오토 인코더를 구현할 때 대부분의 사람들은 활성화 기능으로 시그 모이 드를 사용합니다. 대신 ReLU를 사용할 수 있습니까? ReLU에는 상한에 대한 제한이 없으므로 기본적으로 시그 모이 드를 사용할 때 자동 인코더에 대한 제한된 기준과 달리 입력 이미지의 픽셀 수가 1보다 클 수 있습니다.

11 machine-learning  neural-networks  deep-learning  autoencoders 

이 문장을 이해하는 데 문제가 있습니다. 제안 된 첫 번째 아키텍처는 피드 포워드 NNLM과 유사합니다. 여기서 비선형 히든 레이어가 제거되고 프로젝션 레이어는 프로젝션 매트릭스뿐만 아니라 모든 단어에 대해 공유됩니다. 따라서 모든 단어가 같은 위치에 투영됩니다 (그들의 벡터는 평균화됩니다). 프로젝션 레이어와 프로젝션 매트릭스는 무엇입니까? 모든 단어가 같은 위치에 투사된다는 것은 무슨 …

11 machine-learning  neural-networks  natural-language  word-embeddings  language-models 

분류 작업 및 특히 Adaboost에 대한 부스팅 알고리즘에 대해 조금 읽었습니다. Adaboost의 목적은 여러 "약한 학습자"를 대상으로하고 훈련 데이터에 대한 일련의 반복을 통해 분류자를 밀어 모델 (들)이 반복적으로 실수를 저지르는 클래스를 예측하는 법을 배우도록하는 것입니다. 그러나 내가 한 많은 독서가 왜 의사 결정 트리를 약한 분류기로 사용했는지 궁금합니다. 특별한 이유가 …

11 machine-learning  classification  algorithms  boosting 

기계 학습에 관한 교과서를 읽고 있는데 (데이터 마이닝 (Witten, et al., 2011))이 구절을 보았습니다. 또한, 다른 분포를 사용할 수 있습니다. 정규 분포는 일반적으로 숫자 속성에 적합한 선택이지만 미리 결정된 최소값은 있지만 상한이없는 속성에는 적합하지 않습니다. 이 경우 "log-normal"분포가 더 적합합니다. 위와 아래에 묶인 숫자 속성은 "log-odds" 분포 로 모델링 할 …

11 machine-learning  distributions