«machine-learning» 태그된 질문

분류 또는 회귀를 수행하기 위해 심층 신경망을 훈련시키고 싶지만 예측이 얼마나 자신감이 있는지 알고 싶습니다. 어떻게하면 되나요? 내 생각은 위의 신경계에서의 예측 성능을 기반으로 모든 훈련 기준에 대한 교차 엔트로피를 계산하는 것입니다. 그런 다음 회귀를 위해 두 번째 신경망을 훈련시켜 각 데이텀을 입력으로 사용하고 교차 엔트로피를 출력 (한 출력 노드)으로 …

9 machine-learning  neural-networks 

LeCun et al (1998)의 "Efficient Backprop"에 따르면 모든 입력이 0을 중심으로하고 최대 2 차 미분의 범위 내에 있도록 모든 입력을 정규화하는 것이 좋습니다. 예를 들어 "Tanh"함수에 [-0.5,0.5]를 사용합니다. 이것은 Hessian이 더욱 안정적이됨에 따라 역 전파 진행을 돕는 것입니다. 그러나, 나는 정류기 뉴런 (max (0, x))으로 무엇을 해야할지 확신하지 못했습니다. (그 …

9 machine-learning  neural-networks  normalization  deep-learning  multidimensional-scaling 

딥 러닝 논문을 많이 읽은 후에는 네트워크보다 더 나은 성능을 얻기 위해 네트워크를 훈련시키는 데 많은 트릭이 있다는 느낌이 들었습니다. 산업 응용 프로그램 관점에서 볼 때 구글이나 페이스 북과 같은 대기업의 엘리트 연구 그룹을 제외하고 이러한 종류의 트릭을 개발하는 것은 매우 어렵습니다. 그렇다면 실제로 딥 러닝 알고리즘을 적용하는 가장 좋은 …

9 machine-learning  deep-learning  deep-belief-networks 

나는 회귀의 일반적인 설정, 즉 연속 함수를 가정합니다. hθ: X→아르 자형엔hθ:X→Rnh_\theta:X\to \mathbb R^n 가족에서 선택 {hθ}θ{hθ}θ\{h_\theta\}_\theta 주어진 데이터에 맞게 (엑스나는,와이나는) ∈ X×아르 자형엔, i = 1 , … , k(xi,yi)∈X×Rn,i=1,…,k(x_i,y_i)\in X\times \mathbb R^n, i=1,\ldots, k (엑스XX 큐브와 같은 공간이 될 수 있습니다 [ 0 , 1]미디엄[0,1]m[0,1]^m 또는 실제로 자연 기준에 …

9 regression  machine-learning  multiple-regression 

바닐라 하위 그라데이션 방법을 통해 Lasso를 해결하려고했습니다. 그러나 Proximal gradient descent 사용을 제안하는 사람들을 읽었습니다. 누군가가 바닐라 하위 그라데이션 방법 대신 근위 GD가 올가미에 사용되는 이유를 강조 할 수 있습니까?

9 machine-learning  optimization  lasso  gradient-descent 

오토 인코더 네트워크는 일반 분류 자 ​​MLP 네트워크보다 훨씬 까다로운 것으로 보입니다. Lasagne를 사용하여 여러 번 시도한 후에 재구성 된 출력에서 ​​얻는 것은 입력 숫자가 실제로 무엇인지에 대한 구분없이 MNIST 데이터베이스 의 모든 이미지의 모호한 평균과 유사 합니다. 내가 선택한 네트워크 구조는 다음 캐스케이드 계층입니다. 입력 레이어 (28x28) 2D 컨볼 …

9 machine-learning  neural-networks  dimensionality-reduction  unsupervised-learning  autoencoders 

scikit-learn 의 StandardScaler 객체 설명서에 따르면 : 예를 들어, 학습 벡터 알고리즘의 목적 함수에 사용되는 많은 요소 (예 : Support Vector Machine의 RBF 커널 또는 선형 모델의 L1 및 L2 정규화 기)는 모든 기능이 0을 중심으로하고 동일한 순서로 분산되어 있다고 가정합니다. 특징이 다른 것보다 수십 배 큰 분산을 갖는 경우, …

9 machine-learning  svm  standard-deviation  mean  references 

질문 : 부스트 회귀 트리 (BRT)와 일반화 된 부스트 모델 (GBM)의 차이점은 무엇입니까? 그것들을 서로 바꿔서 사용할 수 있습니까? 하나는 다른 형태입니까? Ridgeway에서 Friedman이 이전에 "Gradient Boosting Machine"(GBM)으로 제안한 내용을 설명하기 위해 "GBM (Generalized Boosted Regression Models)"이라는 문구를 사용한 이유는 무엇입니까? 이 두 약어는 동일하지만 동일한 내용을 설명하지만 다른 구에서 …

9 machine-learning  boosting  gbm 

랜덤 포레스트에서 각 트리는 고유 한 부 스트랩 데이터 샘플에서 병렬로 성장합니다. 각 부 스트랩 샘플에는 고유 한 관측치의 약 63 %가 포함될 것으로 예상되므로, 관측치의 약 37 %가 트리 테스트에 사용될 수 있습니다. 이제 확률 적 그라디언트 부스팅에서는 RF와 비슷한 추정치가있는 것 같습니다.오 오비e r r o rOOBerrorOOB_{error} bag.fraction이 …

9 machine-learning  cross-validation  data-mining  random-forest  boosting 

연속 변수와 이진 대상 변수 (0 및 1)가있는 데이터 세트가 있습니다. 목표 변수와 관련하여 연속 변수 (로지스틱 회귀 분석)를 불연속 화하고 각 구간의 관측 빈도가 균형을 이루도록 제한해야합니다. Chi Merge, 의사 결정 트리와 같은 기계 학습 알고리즘을 시도했습니다. Chi merge는 각 구간에서 매우 불균형 한 수의 구간을 제공했습니다 (3 개의 …

9 r  machine-learning  chi-squared  discrete-data  supervised-learning 

이 논문 은 CART에서 각 단계에서 단일 공변량에 대해 이진 분할이 수행되므로 모든 분할이 직교하므로 공변량 간의 상호 작용은 고려되지 않는다고 주장합니다. 그러나 트리의 계층 적 구조는 예측 변수들 간의 상호 작용이 자동으로 모델링된다는 것을 보장한다고 주장하는 많은 매우 진지한 언급 이있다 (예를 들어, 이 논문 과 물론 Hastie). 누가 …

9 machine-learning  classification  data-mining  cart 

CNN에서는 컨벌루션 레이어에서 피쳐 맵을 생성하는 필터를 학습합니다. 자동 인코더에서 각 레이어의 단일 숨겨진 단위를 필터로 간주 할 수 있습니다. 이 두 네트워크에서 필터의 차이점은 무엇입니까?

9 machine-learning  neural-networks  conv-neural-network  autoencoders 

ImageNet Competition (1,000 개 범주 이미지 분류)의 평가 방법 중 하나는 상위 5 개 오류입니다. 그 의미는 무엇입니까? 참조 : http://www.image-net.org/challenges/LSVRC/

9 machine-learning  classification  computer-vision 

머신 러닝에서 데이터 세트는 부드러운 저 차원 매니 폴드 (매니 폴드 가정)에 있다고 가정하지만 특정 조건이 충족되었다고 가정하면 데이터 세트가 실제로 (대략) 생성된다는 것을 증명할 방법이 있습니까? 저 차원 부드러운 매니 폴드에서? 예를 들어, 데이터 시퀀스 에서 (다른 각도의 얼굴 이미지 시퀀스)와 대응하는 라벨 시퀀스 여기서 (페이스 시퀀스의 각도). 때 …

9 machine-learning  dimensionality-reduction  manifold-learning 

이 같은 두 변수의 노이즈 데이터가 있습니다. x1 <- rep(seq(0,1, 0.1), each = 3000) set.seed(123) y1 <- rep (c(0.2, 0.8, 0.3, 0.9, 0.65, 0.35,0.7,0.1,0.25, 0.3, 0.95), each = 3000) set.seed(1234) e1 = rnorm(length(x1), 0.07,0.07) set.seed(1223) e2 = rnorm(length(x1), 0.07,0.07) set.seed(1334) yn <- rnorm(20000, 0.5,0.9) set.seed(2344) xn <- rnorm(20000, 0.5,0.9) y …

9 r  machine-learning  clustering