«neural-network» 태그된 질문

나는 잠시 동안 신경망을 사용하고 있습니다. 그러나 내가 끊임없이 어려움을 겪고있는 한 가지는 네트워크 교육을위한 최적화 프로그램을 선택하는 것입니다 (backprop 사용). 내가 일반적으로하는 것은 하나 (예 : 표준 SGD)로 시작한 다음 다른 사람들을 거의 임의로 시도합니다. 좋은 옵티 마이저를 찾는 더 나은 (그리고 덜 무작위적인) 접근법이 있는지 궁금합니다. SGD (운동량 …

18 neural-network  optimization  backpropagation 

Keras RNN Tutorial : " RNN 은 까다 롭습니다. 배치 크기 선택이 중요하고, 손실 및 최적화 선택이 중요합니다. 일부 구성은 수렴되지 않습니다." 따라서 이것은 Keras에서 LSTM-RNN의 하이퍼 파라미터를 튜닝하는 것에 대한 일반적인 질문입니다. RNN에 가장 적합한 매개 변수를 찾는 방법에 대해 알고 싶습니다. Keras 'Github 에서 IMDB 예제로 시작했습니다 . …

18 python  neural-network  deep-learning  keras  hyperparameter 

신경망에서 시그 모이 드 함수의 미분의 역할을 이해하려고합니다. 먼저 시그 모이 드 함수와 파이썬을 사용하여 정의에서 모든 점의 파생을 플로팅합니다. 이 파생 상품의 역할은 정확히 무엇입니까? import numpy as np import matplotlib.pyplot as plt def sigmoid(x): return 1 / (1 + np.exp(-x)) def derivative(x, step): return (sigmoid(x+step) - sigmoid(x)) / …

18 machine-learning  neural-network 

여기 에 대답은 sigmoid유사한 활성화 기능에 있었지만 소멸 Relu이 있으며 예상 값인 그라디언트 소멸 및 폭발을 나타냅니다 . 의 출력에는 제한이 없으므로 Relu예상 값이 0이 아닙니다. 나는 Relu그것 의 인기가 이전 tanh보다 머신 러닝 전문가들 사이에서 가장 인기있는 시간을 기억합니다 sigmoid. 그 이유는의 예상 값이 tanh0과 같았으며 신경망에서 더 깊은 …

17 machine-learning  neural-network  deep-learning  gradient-descent  activation-function 

배깅은 단일 예측 변수처럼 작동하는 여러 예측 변수를 생성하는 것입니다. 드롭 아웃은 모든 가능한 서브 네트워크를 평균화하도록 신경망에 가르치는 기술입니다. 가장 중요한 Kaggle의 경쟁을 살펴보면이 두 기술이 매우 자주 사용되는 것 같습니다. 실제 구현 외에 이론적 인 차이점을 볼 수 없습니다. 실제 응용 프로그램에서 왜 두 가지를 사용해야하는지 누가 설명 …

17 machine-learning  neural-network  deep-learning 

온라인 서적에서 질문을하고 있습니다. http://neuralnetworksanddeeplearning.com/chap1.html 추가 출력 레이어가 5 개의 출력 뉴런 인 경우 이전 레이어에 대해 바이어스를 각각 0.5 및 가중치 0.5로 설정할 수 있음을 이해할 수 있습니다. 그러나이 문제는 이제 에서 10 개의 가능한 출력을 표현하기에 충분한 4 개의 출력 뉴런 레이어를 요구합니다 .24242^{4} 누군가이 문제를 이해하고 해결하는 …

17 neural-network 

신경망을 고려하십시오. 주어진 데이터 세트에 대해 훈련, 검증 및 테스트 세트로 나눕니다. 고전적인 60:20:20 비율로이를 수행 한 다음 유효성 검사 세트에서 네트워크를 확인하여 과적 합을 방지합니다. 그렇다면 성능을 확인하기 위해 테스트 세트에서 테스트해야합니까? 테스트 세트의 오류는 네트워크에 대한 유효성 검사 세트와 다소 같지 않습니까? 유효성 검사 세트와 같이 보이지 않는 …

17 machine-learning  neural-network  cross-validation 

ReLU를 사용하여 전파를 되 찾는 데 어려움을 겪고 있으며 일부 작업을 수행했지만 제대로 진행되고 있는지 확실하지 않습니다. 비용 함수 : y는실수 값이고, y는 예측값이다. 또한항상x> 0이라고 가정하십시오.12(y−y^)212(y−y^)2\frac{1}{2}(y-\hat y)^2yyyy^y^\hat yxxx 1 층 ReLU, 1 층의 무게는 w1w1w_1 dCdw1=dCdRdRdw1dCdw1=dCdRdRdw1\frac{dC}{dw_1}=\frac{dC}{dR}\frac{dR}{dw_1} dCw1=(y−ReLU(w1x))(x)dCw1=(y−ReLU(w1x))(x)\frac{dC}{w_1}=(y-ReLU(w_1x))(x) 첫 번째 레이어의 가중치가 w2w2w_2 이고 두 번째 레이어가 2 레이어 ReLU, …

17 neural-network  backpropagation 

corr()원본 df 에서 df를 만듭니다 . corr()DF는 70 X 70에서 나와는 히트 맵을 시각화하는 것은 불가능합니다 ... sns.heatmap(df). 를 표시하려고 corr = df.corr()하면 테이블이 화면에 맞지 않으며 모든 상관 관계를 볼 수 있습니다. df크기에 관계없이 전체를 인쇄 하거나 히트 맵의 크기를 제어하는 ​​방법입니까?

17 visualization  pandas  plotting  machine-learning  neural-network  svm  decision-trees  svm  efficiency  python  linear-regression  machine-learning  nlp  topic-model  lda  named-entity-recognition  naive-bayes-classifier  association-rules  fuzzy-logic  kaggle  deep-learning  tensorflow  inception  classification  feature-selection  feature-engineering  machine-learning  scikit-learn  tensorflow  keras  encoding  nlp  text-mining  nlp  rnn  python  neural-network  feature-extraction  machine-learning  predictive-modeling  python  r  linear-regression  clustering  r  ggplot2  neural-network  neural-network  training  python  neural-network  deep-learning  rnn  predictive-modeling  databases  sql  programming  distribution  dataset  cross-validation  neural-network  deep-learning  rnn  machine-learning  machine-learning  python  deep-learning  data-mining  tensorflow  visualization  tools  sql  embeddings  orange  feature-extraction  unsupervised-learning  gan  machine-learning  python  data-mining  pandas  machine-learning  data-mining  bigdata  apache-spark  apache-hadoop  deep-learning  python  convnet  keras  aggregation  clustering  k-means  r  random-forest  decision-trees  reference-request  visualization  data  pandas  plotting  neural-network  keras  rnn  theano  deep-learning  tensorflow  inception  predictive-modeling  deep-learning  regression  sentiment-analysis  nlp  encoding  deep-learning  python  scikit-learn  lda  convnet  keras  predictive-modeling  regression  overfitting  regression  svm  prediction  machine-learning  similarity  word2vec  information-retrieval  word-embeddings  neural-network  deep-learning  rnn 

저자 식별 문제에 관한 프로젝트를하고 있습니다. 데이터를 훈련시키기 위해 tf-idf 정규화를 적용한 다음 해당 데이터에 대해 svm을 훈련했습니다. 이제 분류기를 사용할 때 테스트 데이터도 정규화해야합니다. 정규화의 기본 목표는 학습 알고리즘이 학습하는 동안 더 중요한 기능에 더 많은 가중치를 부여하는 것입니다. 일단 훈련을 마치면 어떤 기능이 중요하지 않은지 이미 알고 있습니다. …

17 machine-learning  neural-network  deep-learning 

나는 convnets와 함께 조금 놀고 있습니다. 특히, 고양이 또는 개 (각 12500)로 표시된 25000 개의 이미지로 구성된 kaggle cats-vs-dogs 데이터 세트를 사용하고 있습니다. 테스트 세트에서 약 85 %의 분류 정확도를 달성했지만 90 %의 정확도 달성 목표를 설정했습니다. 내 주요 문제는 과적 합입니다. 어쨌든 항상 발생합니다 (일반적으로 8 ~ 10 일 …

16 neural-network  deep-learning  convnet  image-recognition  dropout 

나는이 질문에 대한 명확한 대답이 없다는 것을 알고 있지만 많은 데이터가있는 거대한 신경망이 있고 새로운 기능을 입력에 추가하고 싶다고 가정 해 봅시다. "가장 좋은"방법은 새로운 기능으로 네트워크를 테스트하고 결과를 보는 것이지만 기능이 도움이되지 않는지 테스트하는 방법이 있습니까? 상관 관계 측정 ( http://www3.nd.edu/~mclark19/learn/CorrelationComparison.pdf ) 등?

16 machine-learning  neural-network  feature-selection  feature-extraction 

범주 형과 연속 형의 두 가지 입력 기능이 있다고 가정합니다. 범주 형 데이터는 원-핫 코드 A로 표현 될 수있는 반면, 연속 데이터는 N- 차원 공간에서 단지 벡터 B이다. A, B는 완전히 다른 종류의 데이터이기 때문에 단순히 concat (A, B)를 사용하는 것은 좋은 선택이 아닌 것 같습니다. 예를 들어, B와 달리 …

16 neural-network  feature-selection  categorical-data  feature-construction 

저는 현재 신경망을 사용하여 연구를하고있는 신입생 학부생입니다 (이것을 언급하면 ​​익숙하지 않을 수 있습니다). 교수님의지도에 따라 3 노드 신경망 (작동)을 코딩했습니다. 그러나 저는 AI와 데이터 과학 분야에서 경력을 쌓고 싶습니다. 그리고 이것들에 대해 더 깊이 배우고 싶습니다. 신경망 구조, 딥 러닝 등에 대해 더 자세히 알려줄 책이나 자료가 있습니까? 추천 사항이 …

15 machine-learning  neural-network 

화살표의 하향식 그림이 있고이 화살표가 이루는 각도를 예측하려고합니다. 이것은 도와 도 사이 또는 과 사이 입니다. 문제는이 목표가 원형이며 및 도가 정확히 동일하여 내 목표에 포함하려는 불균형이며 일반화에 크게 도움이되어야한다는 것입니다 (이것은 내 가정입니다). 문제는이 문제를 해결하는 깨끗한 방법이 보이지 않는다는 것입니다.이 문제 (또는 유사한 문제)를 해결하려고하는 논문이 있습니까? 잠재적 …

15 neural-network  deep-learning  loss-function  parameter-estimation