«deep-learning» 태그된 질문

Ian Goodfellow의 저서 Deep Learning 에서 읽은 내용이 있습니다. 신경망의 맥락에서, "L2 매개 변수 규범 페널티는 일반적으로 무게 감소로 알려져 있습니다.이 정규화 전략은 가중치를 원점에 더 가깝게 이동시킵니다. [...] 더 일반적으로, 매개 변수를 특정 지점에 가깝게 정규화 할 수 있습니다. 공간에서 "라고하지만 모델 매개 변수를 0으로 정규화하는 것이 훨씬 일반적입니다. …

11 machine-learning  neural-networks  deep-learning  regularization 

최근에, 우리는 Residual Neural Net의 출현을 보았습니다. 여기서 각 레이어는 계산 모듈 와 i 번째 레이어의 출력과 같이 레이어에 대한 입력을 유지하는 바로 가기 연결 로 구성됩니다 . 네트워크는 잔존 피처를 추출 할 수 있으며 깊이가 더 깊어지면서 배니싱 그라디언트 문제에 대해보다 강력한 성능을 제공하여 최첨단 성능을 달성합니다.y i + …

11 machine-learning  neural-networks  deep-learning  gradient-descent  residual-networks 

Word2Vec 알고리즘의 스킵 그램 모델을 이해하는 데 문제가 있습니다. 연속 단어 단위로 신경망에서 문맥 단어가 어떻게 "맞을"수 있는지 쉽게 알 수 있습니다. 기본적으로 각각의 one-hot 인코딩 표현에 입력 행렬 W를 곱한 후 평균을 계산하기 때문입니다. 그러나 skip-gram의 경우 one-hot encoding과 입력 행렬을 곱하여 입력 단어 벡터 만 얻은 다음 컨텍스트 …

11 neural-networks  deep-learning  natural-language  word2vec  word-embeddings 

숫자 벡터를 입력으로 사용하고 클래스 레이블을 출력으로 제공하는 분류기를 배우고 싶다고 가정 해보십시오. 내 훈련 데이터는 많은 수의 입력-출력 쌍으로 구성됩니다. 그러나 일부 새 데이터를 테스트 할 때이 데이터는 일반적으로 부분적으로 만 완료됩니다. 예를 들어 입력 벡터의 길이가 100 인 경우 요소 중 30 개에만 값이 제공되고 나머지는 "알 수 …

11 machine-learning  classification  neural-networks  deep-learning 

특정 레이어의 활성화 맵이 해당 레이어의 필터에 어떻게 연결되어 있습니까? 필터와 활성화 맵 사이에서 컨볼 루션 연산을 수행하는 방법에 대해 묻지 않고이 두 가지 연결 유형에 대해 묻습니다. 예를 들어, 완전한 연결을 원한다고 가정하십시오. 주어진 레이어에 f 개의 필터와 n 개의 활성화 맵이 있습니다. 다음 레이어에서 f * n 개의 …

11 machine-learning  deep-learning  conv-neural-network 

신경망으로 오토 인코더를 구현할 때 대부분의 사람들은 활성화 기능으로 시그 모이 드를 사용합니다. 대신 ReLU를 사용할 수 있습니까? ReLU에는 상한에 대한 제한이 없으므로 기본적으로 시그 모이 드를 사용할 때 자동 인코더에 대한 제한된 기준과 달리 입력 이미지의 픽셀 수가 1보다 클 수 있습니다.

11 machine-learning  neural-networks  deep-learning  autoencoders 

나는 매우 인기있는 논문 인 " EXLAINING AND HARNESSING ADVERSARIAL EXAMPLES "를 구현하고 있었고 논문에서 적대적인 목적 함수를 훈련시켰다. J ''(θ) = αJ (θ) + (1-α) J '(θ). α를 하이퍼 파라미터로 취급합니다. α는 0.1, 0.2, 0.3 등이 될 수 있습니다. 이 특정 논문에 관계없이 α를 매개 변수에 포함시키고 최고의 α를 …

11 machine-learning  neural-networks  deep-learning  hyperparameter 

자동 인코딩 변형 베이 와 딥 생성 모델에 대한 확률 적 역 전파 의 차이점은 무엇입니까 ? 두 방법의 추론이 동일한 결과를 초래합니까? 두 저자 그룹이 서로 인용하고 있음에도 불구하고 두 방법 사이의 명시 적 비교를 알지 못합니다.

10 deep-learning  inference  latent-variable  variational-bayes  sgd 

seq2seq 모델링을위한 인코더-디코더 아키텍처를 소개 한 Cho 2014 논문을 연구하고 있습니다. 이 논문에서 그들은 입력이 주어진 입력의 확률 을 길이 의 입력 와 길이 출력 에 대한 손실 함수로 사용하는 것처럼 보입니다 (또는 음의 로그 가능성) :M y NxxxMMMyyyNNN P(y1,…,yN|x1,…,xM)=P(y1|x1,…,xm)P(y2|y1,x1,…,xm)…P(yN|y1,…,yN−1,x1,…,xm)P(y1,…,yN|x1,…,xM)=P(y1|x1,…,xm)P(y2|y1,x1,…,xm)…P(yN|y1,…,yN−1,x1,…,엑스미디엄)P(y_1, …, y_N | x_1, …, x_M) = P(y_1 | x_1, …

10 deep-learning  loss-functions  rnn 

신경망과 딥 러닝의 차이점에 따라 더 많은 계층이 포함되어 있고, 대규모 데이터 세트, 복잡한 컴퓨터 훈련을위한 강력한 컴퓨터 하드웨어와 같은 여러 항목을 나열 할 수 있습니다. 이 외에도 NN과 DL의 차이점에 대한 자세한 설명이 있습니까?

10 machine-learning  neural-networks  deep-learning  conv-neural-network  deep-belief-networks 

신경망의 깊이와 학습률 사이에 경험의 규칙이 있습니까? 네트워크가 깊을수록 학습률이 낮아야한다는 것을 알았습니다. 맞다면 왜 그럴까요?

10 neural-networks  deep-learning  hyperparameter  rule-of-thumb 

신경망을 훈련시켜 특정 스타일로 그림을 그릴 수 있습니까? (따라서 이미지를 가져와 훈련 된 스타일로 다시 그립니다.) 그런 종류의 물건에 대해 승인 된 기술이 있습니까? DeepArt 알고리즘에 대해 알고 있습니다. 기본 이미지를 특정 패턴 (예 : vangoghify 이미지)으로 채우는 것이 좋지만, 입력 초상화에서 특정 스타일로 만화를 만드는 것과 같은 다른 것을 …

10 machine-learning  neural-networks  deep-learning 

RNN 또는 CNN을 훈련 할 때 그라디언트 클리핑을 언제 수행하고 싶습니까? 나는 특히 후자에 관심이 있습니다. 클리핑의 좋은 시작 가치는 무엇입니까? (물론 조정할 수 있습니다)

10 deep-learning 

CNN (Convolutional Neural Networks)을 사용한 객체 분류와 같은 컴퓨터 비전 작업에서 네트워크는 매력적인 성능을 제공합니다. 그러나 컨볼 루션 레이어에서 매개 변수를 설정하는 방법을 잘 모르겠습니다. 예를 들어, 그레이 스케일 이미지 ( 480x480) 인 제 1 컨볼 루션 레이어는와 같은 컨벌루션 연산자를 사용할 수 있으며 11x11x10, 여기서 숫자 10 은 컨볼 …

10 neural-networks  deep-learning  conv-neural-network  computer-vision 

최근 WaveNet 논문에서, 저자는 자신의 모델을 확장 된 회선의 층을 쌓은 것으로 언급합니다. 또한 '정규'컨벌루션과 확장 컨벌루션의 차이점을 설명하는 다음 차트를 생성합니다. 규칙적인 컨볼 루션은 다음과 같습니다. 이것은 필터 크기가 2이고 보폭이 1 인 컨볼 루션으로 4 개의 레이어에 대해 반복됩니다. 그런 다음 모델에서 사용하는 아키텍처를 보여줍니다.이를 확장 된 회선이라고합니다. …

10 neural-networks  deep-learning  conv-neural-network  tensorflow