«neural-networks» 태그된 질문

배치 정규화 는 심층 신경망에서 상당한 성능 향상으로 인정되었습니다. 인터넷에 많은 자료가 활성화별로이를 구현하는 방법을 보여줍니다. 나는 이미 행렬 대수를 사용하여 backprop를 구현했으며, 고밀도 언어 ( Rcpp고밀도 행렬 곱셈 에 (그리고 결국 GPU)에 의존하는 동안 )에서 모든 것을 추출하고 for-loops를 사용하면 코드가 느려질 것입니다 대단한 고통에 더해 배치 정규화 함수는 …

12 machine-learning  neural-networks  deep-learning  backpropagation  batch-normalization 

신경망의 최근 진보는 점점 더 복잡 해지는 디자인 복잡성을 특징으로하는 일련의 새로운 아키텍처로 요약된다. LeNet5 (1994)에서 AlexNet (2012), Overfeat (2013) 및 GoogleLeNet / Inception (2014) 등 ... 머신이 데이터에 따라 어떤 아키텍처를 사용할지 결정 / 설계하게하려는 시도가 있습니까?

12 neural-networks  deep-learning 

RNN / LSTM을 사용하여 감정 분석을 수행한다고하는데, 이는 다 대일 접근 방식입니다 ( 이 블로그 참조 ). 네트워크는 절단 된 역 전파 전파 시간 (BPTT)을 통해 훈련되며, 여기서 네트워크는 평소와 같이 30 개의 마지막 단계 만 수행됩니다. 필자의 경우 분류하려는 각 텍스트 섹션이 풀리는 30 단계 (~ 100 단어)보다 훨씬 …

12 neural-networks  deep-learning  natural-language  backpropagation 

따라서 Radial Basis Function Neural Networks를 볼 때 사람들은 1 숨겨진 레이어의 사용을 권장하는 반면 멀티 레이어 퍼셉트론 신경 네트워크에서는 더 많은 레이어가 더 나은 것으로 간주됩니다. RBF 네트워크가 역 전파 버전으로 훈련 될 수 있다고 가정하면 더 깊은 RBF 네트워크가 작동하지 않거나 RBF 레이어를 깊은 MLP 네트워크에서 두 번째 …

12 machine-learning  neural-networks  rbf-network 

최근에 나는 베이지안 신경망 (BNN)에 관한 논문을 읽었다 [Neal, 1992] , [Neal, 2012] , 신경망의 입력과 출력 사이의 확률 관계를 제공한다. 이러한 신경망을 훈련시키는 것은 전통적인 역 전파 알고리즘과는 다른 MCMC를 통해 이루어진다. 내 질문은 : 그런 신경망을 사용하면 어떤 이점이 있습니까? 보다 구체적으로, NN보다는 BNN에 더 적합한 예제를 제공 …

12 bayesian  neural-networks  bayesian-network 

"신경망"과 "퍼셉트론"이라는 용어 사이에 차이점이 있습니까?

12 machine-learning  neural-networks  terminology  perceptron 

데이터 세트가 매우 커서 약 5 %의 임의 값이 없습니다. 이 변수들은 서로 상관되어 있습니다. 다음 예제 R 데이터 세트는 더미 상관 데이터가있는 장난감 예제 일뿐입니다. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), ncol = 10000) colnames(xmat) <- paste ("M", 1:10000, sep ="") rownames(xmat) …

12 r  random-forest  missing-data  data-imputation  multiple-imputation  large-data  definition  moving-window  self-study  categorical-data  econometrics  standard-error  regression-coefficients  normal-distribution  pdf  lognormal  regression  python  scikit-learn  interpolation  r  self-study  poisson-distribution  chi-squared  matlab  matrix  r  modeling  multinomial  mlogit  choice  monte-carlo  indicator-function  r  aic  garch  likelihood  r  regression  repeated-measures  simulation  multilevel-analysis  chi-squared  expected-value  multinomial  yates-correction  classification  regression  self-study  repeated-measures  references  residuals  confidence-interval  bootstrap  normality-assumption  resampling  entropy  cauchy  clustering  k-means  r  clustering  categorical-data  continuous-data  r  hypothesis-testing  nonparametric  probability  bayesian  pdf  distributions  exponential  repeated-measures  random-effects-model  non-independent  regression  error  regression-to-the-mean  correlation  group-differences  post-hoc  neural-networks  r  time-series  t-test  p-value  normalization  probability  moments  mgf  time-series  model  seasonality  r  anova  generalized-linear-model  proportion  percentage  nonparametric  ranks  weighted-regression  variogram  classification  neural-networks  fuzzy  variance  dimensionality-reduction  confidence-interval  proportion  z-test  r  self-study  pdf 

기술: 문제 영역은 각각 하나 이상의 클래스에 속하는 일련의 특징 벡터가 존재하는 문서 분류로하자. 예를 들어, 문서 doc_1는 Sports및 English범주에 속할 수 있습니다 . 질문: 분류를 위해 신경망을 사용하면 특징 벡터의 레이블은 무엇입니까? 관련이없는 클래스에 0 값이 주어지고 관련 클래스에 1이되도록 모든 클래스를 구성하는 벡터입니까? 따라서 클래스 레이블 목록이 [Sports, …

12 machine-learning  neural-networks  natural-language  multilabel 

에서 스탠포드의 기계 학습 코스 앤드류 응은 IT에 ML을 적용 언급했다. 얼마 후 우리 사이트에서 적당한 크기 (약 20k 봇)의 DDoS를 얻었을 때 나는 간단한 신경망 분류기를 사용하여 그것에 맞서 싸우기로 결정했습니다. 나는이 파이썬 스크립트를 약 30 분 안에 작성했습니다 : https://github.com/SaveTheRbtz/junk/tree/master/neural_networks_vs_ddos 그것은 pyBrain을 사용 하고 3 개의 nginx 로그를 …

12 classification  neural-networks  unsupervised-learning 

Ian Goodfellow의 딥 러닝 북에는 다음과 같이 쓰여 있습니다. 때때로, 우리가 실제로 걱정하는 손실 함수 (예 : 분류 오류)는 효율적으로 최적화 할 수없는 기능이 아닙니다. 예를 들어 선형 분류기의 경우에도 예상되는 0-1 손실을 정확하게 최소화하는 것은 일반적으로 다루기 어렵습니다 (입력 차원에서 지수). 이러한 상황에서 대체적으로 대리 손실 기능을 최적화하여 프록시 …

12 neural-networks  deep-learning  loss-functions 

우선, 신경망을 훈련시키는 데 필요한 샘플 크기는 일반적으로 없습니다. 그것은 작업의 복잡성, 데이터의 노이즈 등과 같은 너무 많은 요소에 달려 있습니다. 훈련 샘플이 많을수록 네트워크가 더 좋습니다. 그러나 궁금한 점이있다 : 만약 내가 "단순"하다고 생각한다면 이론적으로 가중치보다 적은 훈련 샘플로 신경망을 훈련시키는 것이 가능한가? 아무도 이것이 잘 된 예를 알고 …

12 neural-networks  overfitting  underdetermined 

배경 : 저는 Ian Goodfellow와 Yoshua Bengio, Aaron Courville의 딥 러닝 6 장을 공부하고 있습니다. 섹션 6.2.2.2 ( 여기에서 볼 수있는 183의 183 페이지 182 )에서 출력 에 시그 모이 드를 사용하는 것이 동기가됩니다.피( y= 1 | x )P(y=1|x)P(y=1|x) 재료를 요약 하기 위해 활성화가 적용되기 전에 출력 뉴런으로 설정합니다. 여기서 …

12 neural-networks  deep-learning 

일괄 처리로 10 개의 예를 처리하는 경우 각 예의 손실을 합산 할 수 있지만 각 예의 가중치 업데이트와 관련하여 역전 파는 어떻게 작동합니까? 예를 들면 다음과 같습니다. 예 1-> 손실 = 2 예 2-> 손실 = -2 결과적으로 평균 손실은 0 (E = 0)이되므로 각 가중치와 수렴을 어떻게 업데이트합니까? 우리가 …

12 neural-networks  gradient-descent  backpropagation  tensorflow 

다음은이를 사용하는 keras 코드 샘플입니다. from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu', kernel_constraint=max_norm(3)))

12 neural-networks  regularization  conv-neural-network  optimization 

"업 샘플링"과 "전치 컨볼 루션"이라는 용어는 "디컨 볼 루션"(<-좋은 용어는 아니지만 여기서 사용하겠습니다)을 수행 할 때 사용됩니다. 원래, 나는 그것들이 같은 것을 의미한다고 생각했지만, 나는이 기사들을 읽은 후에 그것들이 다른 것 같습니다. 누구든지 명확히 할 수 있습니까? 전치 컨볼 루션 : 우리가 복잡한 신경망을 통해 손실을 전파 할 때 사용할 …

12 machine-learning  neural-networks  conv-neural-network  transposed-convolution