«neural-networks» 태그된 질문

tanh 활성화 기능은 다음과 같습니다. tanh(x)=2⋅σ(2x)−1tanh(x)=2⋅σ(2x)−1tanh \left( x \right) = 2 \cdot \sigma \left( 2 x \right) - 1 여기서 , 시그 모이 드 함수로서 정의된다 : .σ(x)σ(x)\sigma(x) σ(x)=ex1+exσ(x)=ex1+ex\sigma(x) = \frac{e^x}{1 + e^x} 질문 : 이 두 가지 활성화 기능 (tanh vs. sigma)을 사용하는 것이 정말 중요합니까? 어떤 경우에 어떤 …

82 machine-learning  neural-networks  optimization  cost-maximization 

최근 몇 년 동안 4 개의 공간 에서 최첨단 네트워크가 7 층 ( AlexNet )에서 1000 층 ( 잔여 그물) 으로 이동하면서 회선 신경 네트워크 (또는 일반적으로 깊은 신경 네트워크)가 점점 더 깊어 졌습니다. 연령. 더 깊은 네트워크에서 성능이 향상되는 이유는 더 복잡한 비선형 기능을 배울 수 있기 때문입니다. 충분한 …

73 machine-learning  classification  neural-networks  deep-learning  conv-neural-network 

확률 적 경사 하강에서의 에포크 (epoch)는 데이터를 통한 단일 통과로 정의된다. 각 SGD 미니 배치에 샘플이 추출되고, 기울기가 계산되고 매개 변수가 업데이트됩니다. 에포크 설정에서 샘플은 교체없이 추출됩니다.kkk 그러나 이것은 불필요한 것 같습니다. 각 반복마다 전체 데이터 세트에서 랜덤 드로우 로 각 SGD 미니 배치를 그리지 않겠 습니까? 많은 수의 에포크 …

69 neural-networks  deep-learning  gradient-descent 

방금 범위에서 신경망의 초기 가중치를 선택하는 것이 좋습니다 . 여기서 는 주어진 뉴런에 대한 입력 수. 세트가 정규화되었다고 가정합니다-평균 0, 분산 1 (이 문제가 중요하지 않은 경우).d( − 1디√, 1디√)(−1d,1d)(\frac{-1}{\sqrt d} , \frac{1}{\sqrt d})디dd 이것이 왜 좋은 생각입니까?

68 neural-networks  normalization 

재발 신경망은 "메모리"계층을 가지고 있다는 점에서 "정규"네트워크와 다릅니다. 이 계층으로 인해 반복 NN은 시계열 모델링에 유용합니다. 그러나 사용법을 올바르게 이해하고 있는지 잘 모르겠습니다. :의은 (왼쪽에서 오른쪽으로) 나는 다음과 같은 시계열 있다고 가정 해 봅시다 [0, 1, 2, 3, 4, 5, 6, 7], 내 목표는 예측하는 것입니다 i포인트를 사용하여 번째 지점을 …

67 time-series  machine-learning  neural-networks 

신경망에서 드롭 아웃 레이어를 배치 할 위치에 대한 일반적인 지침이 있습니까?

65 neural-networks  dropout 

객체 집합을 n 클래스로 분류하기 위해 신경망을 훈련하고 있습니다. 각 객체는 동시에 여러 클래스에 속할 수 있습니다 (멀티 클래스, 멀티 레이블). 다중 클래스 문제의 경우 일반적으로 mse 대신 손실 함수로 softmax 및 categorical cross entropy를 사용하는 것이 좋습니다. 나는 그 이유를 다소 이해합니다. 다중 레이블에 대한 문제의 경우 각 클래스 …

64 neural-networks  python  loss-functions  keras  cross-entropy 

2 세의 어린이는 색상, 제작 등에 관계없이 합리적인 정확도로 차량을 식별 할 수 있도록 약 5 대의 자동차가 필요합니다. 아들이 2 살이었을 때, 그는 보았지만 전차와 기차를 식별 할 수있었습니다 단지 몇 개. 그는 보통 서로를 혼동하고 있었기 때문에 그의 신경망은 충분히 훈련되지 않았지만 여전히 그렇습니다. 인공 신경망이 빠져서 더 …

64 neural-networks  neuroscience 

사람들이 '깊은 믿음'네트워크를 언급 할 때 이것이 기본적으로 신경망이지만 매우 크다는 인상을 받고 있습니다. 이것이 정확합니까? 아니면 믿음 네트워크가 알고리즘 자체가 다르다는 것을 의미합니까 (즉, 피드 포워드 신경망은 없지만 피드백 루프가있는 것)?

62 machine-learning  neural-networks  deep-learning  deep-belief-networks 

많은 기계 학습 알고리즘이 평균 취소 및 공분산 이퀄라이제이션으로 더 잘 작동한다는 것을 알았습니다. 예를 들어 신경망은 더 빨리 수렴하는 경향이 있으며 K-Means는 일반적으로 사전 처리 된 기능으로 더 나은 클러스터링을 제공합니다. 이러한 사전 처리 단계의 직관이 성능 향상으로 이어지지는 않습니다. 누군가 나에게 이것을 설명 할 수 있습니까?

61 machine-learning  neural-networks  covariance  normalization 

피드 포워드 와 반복 신경망 의 차이점은 무엇입니까 ? 왜 다른 것을 사용합니까? 다른 네트워크 토폴로지가 있습니까?

58 machine-learning  neural-networks  terminology  rnn  topologies 

나는 이 문제에 관해 여기 와 여기 에 두 가지 질문을 찾았 지만 아직 명확한 대답이나 설명이 없습니다 .Convolution Neural Network의 유효성 검사 오류가 훈련 오류보다 작은 동일한 문제를 시행합니다. 그게 무슨 뜻이야?

57 machine-learning  mathematical-statistics  neural-networks  cross-validation 

PCA와 오토 인코더는 모두 디멘션 감소를 수행 할 수 있으므로 차이점은 무엇입니까? 어떤 상황에서 나는 서로를 사용해야합니까?

56 machine-learning  pca  neural-networks  autoencoders 

딥 러닝 신경망에 적합한 R 라이브러리가 있는지 궁금합니다. 나는이 알고 nnet, neuralnet그리고 RSNNS,이 중에 깊은 학습 방법을 구현하기 위해 보이지 않는다. 나는 특히 감독되지 않은 학습과 감독 학습에 관심이 있고 공동 적응을 방지하기 위해 중퇴를 사용 합니다. / 편집 : 몇 년 후, h20 딥 러닝 패키지가 매우 잘 설계되고 …

56 r  neural-networks  deep-learning  rbm  deep-belief-networks 

누군가 글로벌 최대 풀링 계층 이 무엇인지 , 왜 신경망을 훈련시키는 데 왜 그리고 언제 사용하는지 설명 할 수 있습니까 ? 일반 최대 풀링 레이어보다 이점이 있습니까?

54 neural-networks  conv-neural-network  pooling