«neural-network» 태그된 질문

필자는 최근 Jonathan Long, Evan Shelhamer, Trevor Darrell의 Semantic Segmentation 을 위한 Full Convolutional Networks를 읽었습니다 . 나는 "deconvolutional layer"가 무엇을하고 어떻게 작동하는지 이해하지 못한다. 관련 부분은 3.3. 업 샘플링은 역행 된 회선입니다 거친 출력을 고밀도 픽셀에 연결하는 또 다른 방법은 보간입니다. 예를 들어, 간단한 이중 선형 보간은 입력 및 …

188 neural-network  convnet  convolution 

신경망을 사용하여 다양한 기계 학습 문제를 해결하고 있습니다. Python과 pybrain을 사용하고 있지만이 라이브러리는 거의 중단되었습니다. 파이썬에는 다른 좋은 대안이 있습니까?

130 machine-learning  python  neural-network 

Convolutional Neural Networks for Visual Recognition 에 대한 Stanford 과정 노트를 참조하면 다음 과 같은 단락이 있습니다. "안타깝게도 ReLU 장치는 훈련 중에 깨지기 쉬우 며"사라질 수 있습니다 ". 예를 들어, ReLU 뉴런을 통해 흐르는 큰 기울기는 뉴런이 데이터 포인트에서 다시 활성화되지 않는 방식으로 가중치가 업데이트되도록 할 수 있습니다. 예를 들어, …

119 machine-learning  neural-network  deep-learning 

GRU와 LSTM의 주요 차이점은 GRU에는 2 개의 게이트 ( 리셋 및 업데이트 게이트)가 있고 LSTM에는 3 개의 게이트 (즉, 입력 , 출력 및 잊어 버림 게이트)가 있다는 것입니다. LSTM 모델 (세 개의 게이트가 있음)을 통해 네트워크를보다 잘 제어 할 때 왜 GRU를 사용합니까? 어떤 시나리오에서 GRU가 LSTM보다 선호됩니까?

95 neural-network  deep-learning 

저는 현재 SGD역 전파를 사용하는 신경망에 대해 확률 적 그라디언트 디센트 (Stochastic Gradient Descent)를 구현 하고 있으며 그 목적을 이해하는 동안 학습률에 대한 값을 선택하는 방법에 대한 몇 가지 질문이 있습니다. 학습률은 하강 률을 지시하므로 오차 기울기의 모양과 관련이 있습니까? 그렇다면이 정보를 어떻게 사용하여 가치에 대한 결정을 내립니까? 어떤 종류의 …

85 machine-learning  neural-network  deep-learning  optimization  hyperparameter 

신경망에 관한 주제에 관한 논문을 쓰거나 프레젠테이션을 할 때, 일반적으로 네트워크 아키텍처를 시각화합니다. 공통 아키텍처를 자동으로 시각화하는 좋은 방법과 간단한 방법은 무엇입니까?

79 machine-learning  neural-network  deep-learning  visualization 

내 모델을 만들었습니다. 이제 연구 논문에 대한 네트워크 아키텍처 다이어그램을 그리고 싶습니다. 예는 다음과 같습니다.

78 machine-learning  neural-network  deep-learning  svm  software-recommendation 

이것은 한동안 나에 대한 작은 개념적 질문입니다. 신경망에서 최대 풀링 레이어를 통해 어떻게 역 전파 할 수 있습니까? Torch 7의 nn 라이브러리에 대한 자습서 를 진행하면서 최대 풀링 레이어를 발견했습니다 . 라이브러리는 딥 네트워크의 각 레이어에 대한 그라디언트 계산 및 전달 패스를 추상화합니다. 최대 풀링 레이어에 대한 그래디언트 계산이 어떻게 …

62 neural-network  backpropagation 

최근 에 1x1 회선에 대한 Yan LeCuns 의견을 읽었습니다 . Convolutional Nets에는 "완전히 연결된 레이어"와 같은 것은 없습니다. 1x1 컨볼 루션 커널과 전체 연결 테이블이있는 컨볼 루션 레이어 만 있습니다. ConvNet에 고정 된 크기의 입력이 필요하지 않다는 사실은 매우 드물게 이해됩니다. 공간 출력 범위없이 단일 출력 벡터를 생성하는 입력에 대해 …

55 neural-network  convnet 

저는 RNN (Recurrent Neural Networks)과 그 품종 및 CNN (Convolutional Neural Networks)과 품종에 대해 생각하고 있습니다. 이 두 가지 요점이 공정한 것입니까? CNN을 사용하여 구성 요소 (예 : 이미지)를 하위 구성 요소 (예 : 이미지의 오브젝트 개요와 같은 이미지의 오브젝트)로 분리하십시오. RNN을 사용하여 하위 구성 요소 (이미지 캡션, 텍스트 생성, …

53 machine-learning  neural-network  beginner 

레지던트 네트워크 (ResNet)가 일반 초기화를 대중화하게한다는 것을 알고있었습니다. ResNet에서는 He 일반 초기화가 사용되는 반면 첫 번째 레이어는 He 균일 초기화가 사용됩니다. 나는 ResNet 용지와 "정류기에 깊이 넣기"용지 (초기화 용지)를 살펴 보았지만 일반 초기화 대 균일 초기화에 대해서는 언급하지 않았습니다. 또한: 배치 정규화를 사용하면 훨씬 높은 학습 속도를 사용하고 초기화에 대해 …

51 neural-network  deep-learning  normalization 

인공 신경망 (NN)으로 시작했을 때 나는 주요 문제로 과적 합과 싸워야한다고 생각했다. 그러나 실제로는 NN이 20 %의 오류율 장벽을 넘어 설 수조차 없습니다. 나는 임의의 숲에서 내 점수를 이길 수 없습니다! 나는 NN이 데이터의 트렌드를 포착하기 위해해야 ​​할 일에 대해 매우 일반적인 조언을 찾고 있습니다. NN을 구현하기 위해 Theano Stacked …

50 neural-network  deep-learning 

주로 신경망을 이용한 실험에 TensorFlow 를 사용하고 있습니다. 지금은 꽤 많은 실험 (XOR-Problem, MNIST, 일부 회귀 분석 등)을 수행했지만 전체적으로 초보자로 간주 될 수 있기 때문에 특정 문제에 대해 "정확한"비용 함수를 선택하는 데 어려움을 겪고 있습니다. TensorFlow에 오기 전에 파이썬 과 NumPy를 사용 하여 완전히 연결된 MLP와 일부 반복 네트워크를 …

48 machine-learning  python  neural-network  statistics  tensorflow 

나는 PReLU와 Leaky ReLU가 모두 f(x)=max(x,αx) with α∈(0,1)f(x)=max(x,αx) with α∈(0,1)f(x) = \max(x, \alpha x) \qquad \text{ with } \alpha \in (0, 1) 그러나 Keras 는 docs에 두 기능을 모두 가지고 있습니다 . 새는 ReLU LeakyReLU의 출처 : return K.relu(inputs, alpha=self.alpha) 따라서 ( relu 코드 참조 ) f1(x)=max(0,x)−αmax(0,−x)f1(x)=max(0,x)−αmax(0,−x)f_1(x) = \max(0, x) …

42 neural-network 

LSTM과 시계열에 대한 사용법에 대해 조금 읽었으며 흥미롭지 만 동시에 어려웠습니다. 내가 이해하는 데 어려움을 겪었던 한 가지는 이미 시계열 기능 목록에 추가 기능을 추가하는 방법입니다. 다음과 같이 데이터 세트가 있다고 가정하십시오. t-3, t-2, t-1, 출력 이제 출력에 영향을주는 기능이 있지만 반드시 시계열 기능은 아니라는 사실을 알고 날씨 외부의 날씨를 …

42 machine-learning  neural-network  deep-learning  time-series