«neural-networks» 태그된 질문

최근에 나는 adaboost, gradient boost와 같은 boosting algorithm을 배우고 있었고 가장 많이 사용되는 약한 학습자가 나무라는 사실을 알고 있습니다. 신경망을 기본 학습자로 사용하기위한 최근의 성공적인 사례 (논문 또는 기사를 의미 함)가 있는지 알고 싶습니다.

21 neural-networks  deep-learning  boosting  ensemble  dropout 

본질적으로, 내 질문은 다층 퍼셉트론에서 퍼셉트론이 시그 모이 드 활성화 기능과 함께 사용된다는 것입니다. 업데이트 규칙에서 는 다음과 같이 계산됩니다.와이^와이^\hat{y} 와이^= 11 +특급( − w티엑스나는)와이^=11+특급⁡(−승티엑스나는)\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)} 이 "sigmoid"Perceptron은 로지스틱 회귀와 어떻게 다릅니 까? 단일 계층 시그 모이 드 퍼셉트론은 업데이트 규칙의또한 예측에서 을 합니다. 그러나 다층 퍼셉트론에서, S 자형 …

21 logistic  classification  neural-networks  gradient-descent  perceptron 

시계열 분류를 수행하기 위해 회선 신경망을 훈련시키는 코드가 있는지 알고 싶습니다. 최근 논문 ( http://www.fer.unizg.hr/_download/repository/KDI-Djalto.pdf )을 보았지만 무언가가 있는지 또는 직접 코딩했는지는 확실하지 않습니다.

21 time-series  classification  neural-networks  conv-neural-network 

선형 모델 의 경우 수축 항은 항상 입니다.P ( β )y=β0+xβ+εy=β0+xβ+εy=\beta_0+x\beta+\varepsilonP(β)P(β)P(\beta) 바이어스 (절편) 항 축소하지 않는 이유는 무엇입니까 ? 신경망 모델에서 바이어스 용어를 줄여야합니까?β0β0\beta_0

21 regression  neural-networks  ridge-regression  intercept  shrinkage 

backprop와 같은 표준 신경망 알고리즘의 한계는 원하는 숨겨진 레이어와 레이어 당 뉴런 수를 디자인 결정해야한다는 것입니다. 일반적으로 학습 속도와 일반화는 이러한 선택에 매우 민감합니다. 이것이 계단식 상관 관계 와 같은 신경망 알고리즘 이 관심을 불러 일으킨 이유 입니다. 최소 토폴로지 (입력 및 출력 장치)로 시작하고 학습이 진행됨에 따라 새로운 숨겨진 …

21 neural-networks 

여기, 보라 : 당신은 정확히 학습 데이터의 끝을 볼 수 있습니다. 훈련 데이터는 에서 로갑니다 .−1−1-1111 나는 tanh 활성화와 함께 Keras와 1-100-100-2 밀도 네트워크를 사용했습니다. p와 q의 두 값 p에서 q의 결과를 계산합니다. 이렇게하면 1 값보다 작은 값만 사용하여 모든 크기의 숫자를 얻을 수 있습니다. 나는 여전히이 분야의 초보자이므로 참고하십시오.

21 regression  neural-networks  python  keras 

이 질문에는 이미 답변이 있습니다 . 비용 함수의 변화는 어떻게 긍정적일 수 있습니까? (1 답변) 신경망이 학습하지 않으면 어떻게해야합니까? (5 답변) 지난달 휴무 . 4 가지 유형의 시퀀스를 분류하기 위해 모델 (Recurrent Neural Network)을 훈련하고 있습니다. 훈련을 진행할 때 훈련 배치에서 샘플의 90 % 이상을 올바르게 분류 할 때까지 훈련 …

21 machine-learning  neural-networks  loss-functions  rnn  training-error 

정류 선형 단위 (ReLU)는 선형적이고 계산이 빠르기 때문에 softplus 단위를 대체했습니다. 소프트 플러스가 여전히 희소성을 유도하는 이점이 있습니까? 아니면 ReLU로 제한됩니까? 내가 묻는 이유는 ReLU의 제로 기울기의 부정적인 결과에 대해 궁금해하기 때문입니다. 이 속성이 재 활성화 가능성을 제공하는 데 도움이되는 단위를 "트랩"하지 않습니까?

21 machine-learning  neural-networks 

배치 정규화 (BN) 용지를 읽고 있었으며 (1) 모형의 정확성을 추적하기 위해 이동 평균을 사용해야하는 필요성을 이해하지 못했으며, 그것이 옳은 일임을 인정하더라도 이해가되지 않습니다. 그들이 정확히하고있는 일. 내 이해 (내 잘못)를 위해, 논문은 모델이 훈련을 마치면 미니 배치 통계보다는 인구 통계를 사용한다고 언급합니다. 편견없는 추정치에 대한 논의를 마치면 (나에게 중요한 것처럼 …

21 machine-learning  neural-networks  deep-learning  conv-neural-network  batch-normalization 

벡터에 softmax 함수를 적용하면 "확률"과 000 과 111 사이의 값이 생성됩니다 . 그러나 각 값을 벡터의 합으로 나눌 수 있으며 이는 000 과 111 사이의 확률과 값을 생성 합니다. 여기 에 대한 답변을 읽었 지만 그 이유는 두 기능이 모두 다르지만 이유가 다르기 때문이라고 말합니다.

20 machine-learning  neural-networks  softmax 

Tensorflow의 ResNet 구현에서 분산 스케일링 이니셜 라이저를 사용하고 xavier 이니셜 라이저가 인기가 있음을 알았습니다. 나는 이것에 대한 경험이 많지 않아 실제로는 더 낫습니까?

20 machine-learning  neural-networks  deep-learning  conv-neural-network  tensorflow 

나는 베이지안 계층 선형 모델 (여기서 그것을 설명하는 네트워크)을 다루고 있습니다. 는 슈퍼마켓에서 관찰 된 제품의 일일 판매량을 나타냅니다.YYY 는 가격, 프로모션, 요일, 날씨, 휴일을 포함하여 알려진 회귀 행렬입니다.XXX 는 각 제품의 알려지지 않은 잠재 재고 수준으로, 가장 많은 문제를 유발하고, 이진 변수로 구성된 벡터를 고려합니다. 각 제품마다 1 개가품절됨을 …

20 regression  bayesian  neural-networks  generalized-linear-model  bayesian-network 

대상 데이터가 각도 벡터 (0 ~ 2 * pi) 인 신경망 (자세한 내용은 중요하지 않음)을 훈련하고 있습니다. 이 데이터를 인코딩하는 방법에 대한 조언을 찾고 있습니다. 현재 내가 시도하고있는 것은 (성공적으로 제한적입니다) : 1) 1-C 인코딩 : 설정 가능한 각도를 1000 정도의 이산 각도로 비운 다음 관련 인덱스에 1을 넣어 특정 …

20 neural-networks  circular-statistics 

출력 변수가 서수 인 것을 예측하도록 신경망을 설정했습니다. 가능한 세 가지 출력 A <B <C를 사용하여 아래에 설명합니다. 신경망을 사용하여 범주 형 데이터를 출력하는 방법은 매우 분명합니다. 출력은 마지막 (보통 완전히 연결된) 레이어의 소프트 맥스이며 범주 당 하나씩이며 예측 된 범주는 가장 큰 출력값을 가진 레이어입니다 (이는 많은 인기있는 모델의 …

20 neural-networks  ordinal-data  softmax 

심층 신경망 모델이 있으며 약 100,000 개의 예제로 구성된 내 데이터 세트에서 훈련해야하며 유효성 검사 데이터에는 약 1000 개의 예제가 있습니다. 각 예제를 훈련하는 데 시간이 걸리고 (각 예제마다 약 0.5 초) 과적 합을 피하기 위해 불필요한 계산을 방지하기 위해 조기 중지를 적용하고 싶습니다. 그러나 조기 중지로 신경망을 올바르게 훈련시키는 …

20 neural-networks  deep-learning