«deep-learning» 태그된 질문

Al Rahimi는 최근 NIPS 2017에서 현재 기계 학습과 연금술을 비교 하여 매우 도발적인 연설을 했습니다. 그의 주장 중 하나는 우리가 이론적 발전으로 되돌아 가서 기초적인 결과를 입증하는 간단한 이론을 가져야한다는 것이다. 그가 말했을 때, ML에 대한 주요 정리를 찾기 시작했지만 주요 결과를 이해하는 좋은 참고 자료를 찾을 수 없었습니다. ML …

45 machine-learning  deep-learning  theory 

컨볼 루션 신경망의 컨볼 루션 부분을 이해하려고합니다. 다음 그림을 보면 : 4 개의 다른 커널 (크기 ) 이있는 첫 번째 회선 레이어를 이해하는 데 아무런 문제가 없습니다. 크기 는 입력 이미지와 함께 4 개의 기능 맵을 얻습니다.k × kk×kk \times k 내가 이해하지 못하는 것은 4 개의 기능 맵에서 6 …

44 machine-learning  neural-networks  deep-learning  conv-neural-network 

신경망을 배우고 싶습니다. 저는 전산 언어 학자입니다. 통계 머신 러닝 접근법을 알고 있으며 파이썬으로 코딩 할 수 있습니다. 나는 개념부터 시작하여 계산 언어학 관점에서 유용 할 수있는 인기있는 모델을 알고 있습니다. 참고 용으로 웹을 탐색하고 몇 권의 책과 자료를 찾았습니다. Ripley, Brian D. (1996) 케임브리지 패턴 인식 및 신경망 비숍, …

43 neural-networks  deep-learning  references  natural-language  computer-vision 

Imagenet 및 기타 대형 CNN이 로컬 응답 정규화 계층을 사용한다는 것을 알았습니다. 그러나 나는 그들에 대한 많은 정보를 찾을 수 없습니다. 그것들은 얼마나 중요하며 언제 사용해야합니까? 에서 http://caffe.berkeleyvision.org/tutorial/layers.html#data-layers : "로컬 응답 정규화 계층은 로컬 입력 영역을 정규화하여 일종의"측면 억제 "를 수행합니다. ACROSS_CHANNELS 모드에서 로컬 영역은 근처 채널을 통해 확장되지만 공간 …

41 deep-learning  convolution  conv-neural-network 

신경 네트워크 의 배니싱 그래디언트 문제에 대한 해결책으로 여러 곳에서 정류 선형 유닛 (ReLU)이 칭찬했습니다 . 즉, max (0, x)를 활성화 함수로 사용합니다. 활성화가 양성일 때, 이것은 시그 모이 드 활성화 기능보다 낫다는 것이 명백하다. 그 파생은 큰 x에 대해 임의적으로 작은 값 대신에 항상 1이기 때문이다. 반면에, x가 0보다 …

40 machine-learning  neural-networks  deep-learning  gradient-descent 

스택 형 자동 인코더 또는 딥 믿기 네트워크와 같은 딥 아키텍처의 하이퍼 파라미터를 선택하는 방법에 대한 지침을 제공하는 데 도움이되는 논문을 찾고 있습니다. 하이퍼 파라미터가 많고 선택하는 방법이 매우 혼란 스럽습니다. 또한 훈련에 많은 시간이 걸리기 때문에 교차 유효성 검사를 사용하는 것도 옵션이 아닙니다!

38 machine-learning  deep-learning  deep-belief-networks  hyperparameter 

일반적으로 Neural Networks 및 Deep Neural Networks와 관련하여 자주 제기되는 문제는 "데이터가 배고프다"는 것입니다. 즉, 큰 데이터 세트가 없으면 제대로 수행되지 않습니다. 네트워크 훈련을 위해 내 이해는 이것이 NNets, 특히 Deep NNets가 많은 자유도를 가지고 있기 때문입니다. 따라서 모델로서 NNet에는 매우 많은 수의 매개 변수가 있으며, 모델의 매개 변수 수가 …

37 neural-networks  deep-learning  regularization 

컨볼 루션 신경망의 맥락에서 용어 "커널"과 "필터"의 차이점은 무엇입니까?

37 neural-networks  terminology  deep-learning  conv-neural-network 

신경망을 훈련하고 있는데 훈련 손실은 줄어들지 만 검증 손실은 그렇지 않거나 매우 유사한 아키텍처와 데이터를 사용한 참조 또는 실험을 기반으로 기대했던 것보다 훨씬 줄어 듭니다. 이 문제를 어떻게 해결할 수 있습니까? 질문은 신경망이 학습하지 않으면 어떻게해야합니까? 이 질문에서 영감을 얻은 것으로, 신경망의 일반화 오류를 달성 가능한 것으로 입증 된 수준 …

36 neural-networks  deep-learning 

Convolutional Neural Network (CNN)를 만들고 있는데, 여기에는 Convolutional 레이어와 풀링 레이어가 있으며 드롭 아웃을 적용하여 과적 합을 줄이려고합니다. 풀링 레이어 뒤에 드롭 아웃 레이어를 적용해야한다는 느낌이 들지만 실제로 백업 할 항목이 없습니다. 드롭 아웃 레이어를 추가하기에 적합한 장소는 어디입니까? 풀링 레이어 전후에?

35 deep-learning  conv-neural-network  dropout 

희소 코딩은 입력 벡터를 나타 내기 위해 과도하게 완료된 기본 벡터 세트를 학습하는 것으로 정의됩니다 (<-왜 우리가 이것을 원합니까?). 스파 스 코딩과 자동 인코더의 차이점은 무엇입니까? 스파 스 코딩 및 자동 인코더는 언제 사용합니까?

35 machine-learning  neural-networks  unsupervised-learning  deep-learning  autoencoders 

심층 컨볼 루션 신경망에서 사전 훈련에 관한 문헌을 본 사람이 있습니까? 오토 인코더 또는 제한된 boltzman 기계에서 감독되지 않은 사전 훈련 만 보았습니다.

33 machine-learning  neural-networks  deep-learning  conv-neural-network  autoencoders 

컴퓨터는 오랫동안 "브 루트 포스"기술을 사용하여 체스를 플레이하고 특정 깊이로 검색 한 다음 위치를 평가할 수있었습니다. 그러나 AlphaGo 컴퓨터는 ANN을 사용하여 위치를 평가합니다 (내가 아는 한 깊이 검색은 수행하지 않음). AlphaGo가 Go와 같은 방식으로 체스를하는 체스 엔진을 만들 수 있습니까? 아무도 이것을하지 않은 이유는 무엇입니까? 이 프로그램이 오늘날 최고의 체스 …

32 neural-networks  deep-learning  reinforcement-learning  games 

신경망으로 데이터의 차원을 줄이는 데있어 Hinton과 Salakhutdinov는 과학 2006 은 딥 오토 인코더를 사용하여 비선형 PCA를 제안했습니다. Tensorflow를 사용하여 PCA 자동 인코더를 빌드하고 훈련하려고 시도했지만 선형 PCA보다 더 나은 결과를 얻을 수 없었습니다. 자동 인코더를 효율적으로 훈련시킬 수있는 방법은 무엇입니까? (@amoeba의 나중에 편집 :이 질문의 원래 버전에는 올바르게 작동하지 않는 …

31 pca  python  deep-learning  tensorflow  autoencoders 

"딥 러닝"은 다단계 / 계층 모델링의 또 다른 용어입니까? 나는 전자보다 후자에 대해 더 잘 알고 있지만, 내가 알 수 있듯이, 주요 차이점은 그들의 정의가 아니라 응용 프로그램 도메인 내에서 어떻게 사용되고 평가되는지입니다. 일반적인 "딥 러닝"애플리케이션의 노드 수는 더 크고 일반적인 계층 적 형식을 사용하는 반면 다중 레벨 모델링의 애플리케이션은 …

31 machine-learning  multilevel-analysis  hierarchical-bayesian  deep-learning