«neural-networks» 태그된 질문

나는 배치 정규화 논문 을 읽고 있었으며 [1] 예제를 통해 하나의 섹션이 있는데, 왜 정규화가 신중하게 수행되어야하는지 보여 주려고 노력했다. 솔직히, 예제가 어떻게 작동하는지 이해할 수 없으며 가능한 한 종이를 이해하는 것이 정말 궁금합니다. 먼저 여기에 인용하겠습니다. 예를 들어, 입력이있는 층을 고려 U 학습 바이어스 (B)를 추가하고, 트레이닝 데이터를 통해 …

11 machine-learning  neural-networks  conv-neural-network 

최근에, 우리는 Residual Neural Net의 출현을 보았습니다. 여기서 각 레이어는 계산 모듈 와 i 번째 레이어의 출력과 같이 레이어에 대한 입력을 유지하는 바로 가기 연결 로 구성됩니다 . 네트워크는 잔존 피처를 추출 할 수 있으며 깊이가 더 깊어지면서 배니싱 그라디언트 문제에 대해보다 강력한 성능을 제공하여 최첨단 성능을 달성합니다.y i + …

11 machine-learning  neural-networks  deep-learning  gradient-descent  residual-networks 

피드 포워드 NN을 사용하고 있습니다. 나는 개념을 이해하지만 내 질문은 무게에 관한 것입니다. 그것들을 어떻게 해석 할 수 있습니까, 즉 그것들이 무엇을 나타내거나 어떻게 파괴하지 않을 수 있습니까 (함수 계수에 의해서만)? 나는 "무게의 공간"이라는 것을 찾았지만 그것이 무엇을 의미하는지 잘 모르겠습니다.

11 neural-networks  weights 

신경망을 이용한 Q- 러닝에 관한 질문 에서와 같이 Q- 러닝의 Q- 값을 근사하기 위해 신경망을 사용하려고합니다 . 첫 번째 답변에서 제안했듯이 출력 레이어에 선형 활성화 기능을 사용하고 있지만 숨겨진 레이어에서 시그 모이 드 활성화 기능을 계속 사용하고 있습니다 (2, 나중에 변경할 수는 있음). 또한 조언 된대로 각 작업 대한 출력을 …

11 neural-networks  reinforcement-learning 

Word2Vec 알고리즘의 스킵 그램 모델을 이해하는 데 문제가 있습니다. 연속 단어 단위로 신경망에서 문맥 단어가 어떻게 "맞을"수 있는지 쉽게 알 수 있습니다. 기본적으로 각각의 one-hot 인코딩 표현에 입력 행렬 W를 곱한 후 평균을 계산하기 때문입니다. 그러나 skip-gram의 경우 one-hot encoding과 입력 행렬을 곱하여 입력 단어 벡터 만 얻은 다음 컨텍스트 …

11 neural-networks  deep-learning  natural-language  word2vec  word-embeddings 

숫자 벡터를 입력으로 사용하고 클래스 레이블을 출력으로 제공하는 분류기를 배우고 싶다고 가정 해보십시오. 내 훈련 데이터는 많은 수의 입력-출력 쌍으로 구성됩니다. 그러나 일부 새 데이터를 테스트 할 때이 데이터는 일반적으로 부분적으로 만 완료됩니다. 예를 들어 입력 벡터의 길이가 100 인 경우 요소 중 30 개에만 값이 제공되고 나머지는 "알 수 …

11 machine-learning  classification  neural-networks  deep-learning 

예측 을 위해 R neuralnet패키지 (documentation here ) 를 사용하려고합니다 . 여기 내가하려는 일이 있습니다. library(neuralnet) x <- cbind(runif(50, min=1, max=500), runif(50, min=1, max=500)) y <- x[, 1] * x[, 2] train <- data.frame(x, y) n <- names(train) f <- as.formula(paste('y ~', paste(n[!n %in% 'y'], collapse = ' + '))) …

11 r  neural-networks  prediction  error 

이것이이 사이트에 적합한 지 확실하지 않지만 컴퓨터 과학 (응용 수학 학사)에서 MSE를 시작하고 기계 학습에 대한 강력한 배경을 얻고 싶습니다 (박사 학위를 추구 할 것입니다). 내 관심사 중 하나는 신경망입니다. ANN에게 좋은 수학적 배경은 무엇입니까? 기계 학습의 다른 영역과 마찬가지로 선형 대수학이 중요하다고 생각하지만 다른 수학 영역은 무엇입니까? 신경망 : …

11 machine-learning  neural-networks  mathematical-statistics  references 

예를 들어 어떤 상황에서 ANN이 연결을 제거하면 ANN이 더 나은 성능을 발휘할 수 있는지 궁금합니다. A와 B의 숨겨진 레이어 사이에 몇 개의 "통신"연결을 추가하여 두 개의 다중 레이어 ANN의 A와 B를 동일한 입력 및 출력 노드로 병렬 연결하여 하나의 ANN을 구성합니까? 더 나은 일반화 결과를 얻을 수 있습니까? 이것은 실제로 …

11 classification  neural-networks 

나는 딥 러닝으로 시작하여, 내가 찾을 수없는 질문이 있습니다. 어쩌면 제대로 검색하지 않았을 수도 있습니다. 내가 본 이 대답을 하지만 체중 부패 손실이 무엇인지 아직 명확하지 않다 그리고 그것은 손실 함수에 어떻게 관련이있다.

11 neural-networks  conv-neural-network 

RNN (Recurrent Neural Network)의 기본 개념은 분명합니다. 나는 다음과 같은 방식으로 이해합니다 : 우리는 일련의 관측치 ( o⃗ 1,o⃗ 2,…,o⃗ no→1,o→2,…,o→n\vec o_1, \vec o_2, \dots, \vec o_n ) (즉, 다변량 시계열)가 있습니다. 각 단일 관측치 o⃗ io→i\vec o_i 는 NNN 차원 숫자 형 벡터입니다. RNN 모델 내에서 다음 관측치 o⃗ …

11 time-series  neural-networks  predictive-models  intuition  rnn 

인공 신경망에서 AIC를 계산하기 위해 매개 변수 수를 어떻게 계산할 수 있습니까?

11 neural-networks  aic 

이 자습서 에서 볼 수있는 교차 엔트로피 비용 함수를보고 있습니다 . C=−1n∑x[ylna+(1−y)ln(1−a)]C=−1n∑x[yln⁡a+(1−y)ln⁡(1−a)]C = -\frac{1}{n} \sum_x [y \ln a+(1−y)\ln(1−a)] 정확히 무엇을 요약합니까? 그것은 이상 물론, ,하지만 와 변경되지 않습니다 . 의 모든 의는 하나에 입력입니다 . 는 방정식 위의 단락에서 모든 와 의 합의 함수로 정의되기도합니다 . xxxyyyaaaxxxxxxaaaaaawwwxxx 또한 은이 특정 …

11 neural-networks  error-propagation 

역 전파를 사용하여 SVM을 훈련시킬 수 있는지 (예를 들어 선형적인 것을 만들 수 있는지) 궁금합니다. 현재 분류기의 출력 을 f(x;θ,b)=sgn(θ⋅x−(b+1))=sgn(g(x;θ,b))f(x;θ,b)=sgn(θ⋅x−(b+1))=sgn(g(x;θ,b)) f(\mathbf{x};\theta,b) = \text{sgn}(\theta\cdot\mathbf{x} - (b+1)) = \text{sgn}(g(\mathbf{x};\theta,b)) 따라서 "역방향 패스"(전파 된 오류)를 계산하려고하면 보낸 유도체 는 ∂E∂x=∂E∂f(x;θ,b)∂f(x;θ,b)x=∂E∂f(x;θ,b)∂sgn(g(x;θ,b))∂g(x;θ,b)∂g(x;θ,b)∂x=δdsgn(z)dzθ=δ⋅0⋅θ=0∂E∂x=∂E∂f(x;θ,b)∂f(x;θ,b)x=∂E∂f(x;θ,b)∂sgn(g(x;θ,b))∂g(x;θ,b)∂g(x;θ,b)∂x=δdsgn(z)dzθ=δ⋅0⋅θ=0 \begin{align} \frac{\partial E}{\partial \mathbf{x}} &= \frac{\partial E}{\partial f(\mathbf{x};\theta,b)} \frac{\partial f(\mathbf{x};\theta,b)}{\mathbf{x}} \\ &= \frac{\partial …

11 machine-learning  neural-networks  svm  gradient-descent  backpropagation 

신경망 (NNs)은 특정 가정 (네트워크 및 근사 함수)에서 함수 및 그 파생어에 대한 보편적 근사기로 간주 될 수 있음을 이해합니다. 사실, 단순하지만 사소한 함수 (예 : 다항식)에 대해 여러 가지 테스트를 수행했으며 실제로 함수와 첫 번째 미분을 대략적으로 근사 할 수있는 것 같습니다 (예는 아래에 표시됨). 그러나 나에게 분명하지 않은 …

11 machine-learning  neural-networks  function  derivative