통계 및 빅 데이터 neural-networks

3

모든 입력 노드 (역 전파 유무에 관계없이)의 피드 포워드 네트워크에 대한 입력 으로 이산 값 또는 연속 정규화 값 (예 : (1; 3)) 보다 이진 값 (0/1)을 선호해야하는 이유가 있습니까? 물론, 나는 어느 형태로든 변환 될 수있는 입력에 대해서만 이야기하고 있습니다. 예를 들어, 여러 값을 취할 수있는 변수가있는 경우 하나의 …

14 neural-networks

4

신경망에서 바이어스 단위에 대한 정규화 용어 없음

딥 러닝 에 대한 이 튜토리얼에 따르면 , 체중 감량 (레귤레이션)은 일반적으로 왜 바이어스 용어에 적용되지 않습니까? 배후의 의미 (직관)는 무엇입니까?

14 machine-learning neural-networks bias regularization

3

신경망에 기능 선택 / 엔지니어링이 필요한 이유는 무엇입니까?

특히 kaggle 경쟁과 관련하여 모델의 성능이 기능 선택 / 엔지니어링에 관한 것임을 알았습니다. 더 전통적인 / 구식 ML 알고리즘을 처리 할 때 그 이유가 무엇인지 완전히 이해할 수는 있지만 심층 신경망을 사용할 때 왜 그런지 알 수 없습니다. 딥 러닝 책 인용 : 딥 러닝은 다른 더 단순한 표현으로 표현되는 …

14 neural-networks deep-learning feature-selection feature-engineering

1

신경망에서 병목 현상 계층이란 무엇입니까?

나는 FaceNet 논문 을 읽고 있었고 소개의 세 번째 단락에서 다음과 같이 말합니다. 딥 네트워크를 기반으로 한 이전의 얼굴 인식 방법은 알려진 얼굴 ID 집합에 대해 훈련 된 분류 계층을 사용한 다음 훈련에 사용 된 ID 집합 이상의 인식을 일반화하는 데 사용되는 표현으로 중간 병목 층을 사용합니다. 중간 병목 현상 …

14 neural-networks image-processing

1

딥 Q 학습에서 에피소드와 에포크의 차이점은 무엇입니까?

나는 유명한 논문 "심층 강화 학습으로 아타리 연주"( pdf ) 를 이해하려고합니다 . 신기원 과 에피소드 의 차이점에 대해 잘 모르겠습니다 . 알고리즘 에서 외부 루프는 에피소드 위에 있으며 그림 에서 x 축은 epoch 로 표시 됩니다. 강화 학습의 맥락에서, 나는 신기원이 무엇을 의미하는지 명확하지 않습니다. 에피소드 루프 주변의 시대는 …

14 neural-networks terminology reinforcement-learning q-learning

2

CNN xavier 가중치 초기화

일부 자습서에서는 "Xavier"가중치 초기화 (서류 : 딥 피드 포워드 신경망 훈련의 어려움 이해 )가 신경망의 가중치를 초기화하는 효율적인 방법 이라는 것을 알았습니다 . 완전히 연결된 레이어의 경우이 튜토리얼에서 경험할 규칙이 있습니다. Va r ( W) = 2엔나는 n+ nO U t,더 간단한 대안 :Va r ( W) = 1엔나는 nVㅏ아르 …

14 normal-distribution variance neural-networks conv-neural-network

2

시끄러운 레이블로 분류?

분류를 위해 신경망을 훈련하려고하지만 레이블이 다소 시끄 럽습니다 (라벨의 약 30 %가 잘못되었습니다). 교차 엔트로피 손실이 실제로 작동하지만이 경우 더 효과적인 대안이 있는지 궁금합니다. 또는 교차 엔트로피 손실이 최적입니까? 확실하지는 않지만 교차 엔트로피 손실을 어느 정도 "클리핑"하여 하나의 데이터 포인트에 대한 손실이 상한보다 크지 않을 것이라고 생각하고 있습니까? 감사! 업데이트 …

14 machine-learning neural-networks loss-functions noise

3

컨볼 루션 네트워크에 대한 보편적 근사 정리

보편적 근사 정리는 신경망에서 매우 유명한 결과이며, 기본적으로 일부 가정 하에서 어떤 기능 내에서도 신경망에 의해 함수가 균일하게 근사 될 수 있다고 명시합니다. 컨볼 루션 신경망에 적용되는 유사한 결과가 있습니까?

14 neural-networks conv-neural-network approximation

4

다중 출력 회귀 분석을위한 신경망

34 개의 입력 열과 8 개의 출력 열이 포함 된 데이터 세트가 있습니다. 문제를 해결하는 한 가지 방법은 34 개의 입력을 가져 와서 각 출력 열에 대해 개별 회귀 모델을 작성하는 것입니다. 이 문제를 신경망을 사용하는 하나의 모델로만 해결할 수 있는지 궁금합니다. 다층 퍼셉트론을 사용했지만 선형 회귀와 같은 여러 모델이 …

14 neural-networks deep-learning multivariate-regression

2

신경망 : 원-핫 변수 압도적 인 연속?

약 20 열 (20 가지 기능)이있는 원시 데이터가 있습니다. 그 중 10 개는 연속적인 데이터이고 10 개는 범주 형입니다. 범주 형 데이터 중 일부는 50 개의 서로 다른 값 (미국)을 가질 수 있습니다. 데이터를 사전 처리 한 후 10 개의 연속 열이 10 개의 준비된 열이되고 10 개의 범주 형 …

13 machine-learning neural-networks tensorflow data-preprocessing theano

1

심층 강화 학습이 불안정한 이유는 무엇입니까?

DeepMind의 심층 강화 학습에 관한 2015 년 논문에서 "안정적인 학습으로 인해 RL과 신경망을 결합하려는 이전의 시도는 크게 실패했습니다"라고 말합니다. 그런 다음이 논문은 관측에 대한 상관 관계를 기반으로이 문제의 원인을 나열합니다. 누군가 이것이 이것이 무엇을 의미하는지 설명해 주시겠습니까? 신경망이 훈련에는 있지만 시험에는 없을 수있는 일부 구조를 학습하는 과적 합의 형태입니까? 아니면 …

13 machine-learning neural-networks deep-learning reinforcement-learning

2

신경망이 왜 쉬운가?

신경망을 "어리석게"하기 위해 이미지를 수동으로 구성하는 방법에 대한 논문을 읽었습니다 (아래 참조). 네트워크가 조건부 확률 만 모델링하기 때문 입니까? 네트워크가 결합 확률 모델링 할 수있는 경우에도 그러한 경우가 발생합니까?p ( y , x )p(y|x)p(y|x)p(y|x)p(y,x)p(y,x)p(y,x) 내 생각에 인위적으로 생성 된 이미지가 훈련 데이터와 다르므로 확률이 낮습니다 . 따라서 이러한 이미지에 대해 …

13 machine-learning neural-networks deep-learning

2

상관 된 입력 데이터가 신경망에 과적 합을 유발합니까?

제 생각에는 상관 된 입력 데이터는 신경망에서 과적 합을 가져와야합니다. 왜냐하면 네트워크는 데이터의 노이즈와 같은 상관 관계를 배우기 때문입니다. 이 올바른지?

13 correlation neural-networks overfitting

2

신경망에서 가중치를 초기화 할 때 잘린 정규 분포의 이점은 무엇입니까?

피드 포워드 신경망에서 연결 가중치를 초기화 할 때 학습 알고리즘이 중단되지 않는 대칭을 피하기 위해 무작위로 가중치를 초기화하는 것이 중요합니다. 다양한 장소에서 본 권장 사항 (예 : TensorFlow의 MNIST 자습서 )은 표준 편차 1 을 사용하여 잘린 정규 분포를 사용하는 것입니다 , 여기서N은 주어진 뉴런 레이어에 대한 입력 수입니다.1엔−−√1엔\dfrac{1}{\sqrt{N}}엔엔N 표준 …

13 neural-networks backpropagation weights truncated-normal

1

딥 네트워크의 LSTM 계층을 훈련시키는 방법

텍스트를 분류하기 위해 lstm 및 피드 포워드 네트워크를 사용하고 있습니다. 텍스트를 one-hot 벡터로 변환하고 각각을 lstm에 공급하여 단일 표현으로 요약 할 수 있습니다. 그런 다음 다른 네트워크에 공급합니다. 그러나 lstm을 어떻게 훈련합니까? 텍스트를 순서대로 분류하고 싶습니다. 훈련없이 텍스트를 제공해야합니까? 나는 구절을 분류기의 입력 레이어에 공급할 수있는 단일 항목으로 표현하고 싶습니다. …

13 classification neural-networks deep-learning lstm

«neural-networks» 태그된 질문