«neural-networks» 태그된 질문

나는 이미지 인식을위한 딥 레지던트 학습 (Deep Residual Learning)을 읽고 있었고, 잔차 블록이 계산적으로 수반하는 것을 100 % 확실하게 이해하는 데 어려움을 겪었습니다. 그들의 논문을 읽고 그들은 그림 2를 가지고 있습니다. Residual Block이 무엇을 의미하는지 보여줍니다. 잔차 블록의 계산은 단순히 다음과 같습니다. y =σ( W2σ( W1x + b1) + b2+ …

12 machine-learning  neural-networks  deep-learning  conv-neural-network  residual-networks 

신경망과 딥 러닝 닷컴 자습서를 통해 신경망에 대해 배우기 시작했습니다. 특히 3 장 에는 교차 엔트로피 기능에 대한 섹션이 있으며 교차 엔트로피 손실을 다음과 같이 정의합니다. 씨= − 1엔∑엑스∑제이( y제이lnㅏ엘제이+ ( 1 − y제이) ln( 1 − a엘제이) )씨=−1엔∑엑스∑제이(와이제이ln⁡ㅏ제이엘+(1−와이제이)ln⁡(1−ㅏ제이엘))C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j + (1-y_j) \ln (1 …

12 neural-networks  loss-functions  softmax  cross-entropy 

신경망의 이벤트 날짜와 시간을 어떻게 인코딩합니까? 연속 시계열이 없지만 날짜 및 시간이있는 일부 이벤트가 있으며 관심 분야를 분석합니다. 이 관심사는 아침과 저녁에 차이가 있으며 주중, 여름과 겨울, 크리스마스와 부활절 전과는 다릅니다. 그리고 이벤트 자체는 시간이 지남에 따라 강력한 불균일 한 분포를 가지고 있습니다 (주간에 더 많은 종류, 밤에 더 많은 …

12 neural-networks  deep-learning 

읽기 컨볼 루션에 대해 더 깊이 이해하기 저는 제안 된 시작 모듈 의 빌딩 블록 인 DepthConcat 레이어를 발견했습니다 . 저자는 이것을 "필터 연결"이라고합니다. Torch 구현 이있는 것 같지만 실제로는 이해하지 못합니다. 누군가 간단한 말로 설명 할 수 있습니까?

12 neural-networks  torch  conv-neural-network 

피셔의 정확한 테스트를 더 잘 이해하고 싶기 때문에 f와 m이 남성과 여성에 해당하고 n과 y가 "소다 소비"에 해당하는 다음 장난감 예제를 고안했습니다. > soda_gender f m n 0 5 y 5 0 분명히 이것은 과감한 단순화이지만 컨텍스트가 방해되는 것을 원하지 않았습니다. 여기서 나는 남자들이 음료수를 마시지 않고 여자들은 음료수를 마시고 …

12 fishers-exact  hypergeometric  clustering  supervised-learning  modeling  econometrics  r  regression  residuals  heteroscedasticity  independence  distributions  self-study  matlab  libsvm  self-study  conditional-probability  conditional-expectation  hypothesis-testing  self-study  multiple-comparisons  mode  statistical-significance  chi-squared  multiple-comparisons  maximum-likelihood  poisson-process  optimization  uncertainty  genetic-algorithms  bayesian  model-selection  overfitting  maximum-likelihood  optimization  approximation  r  prediction  model-evaluation  r  machine-learning  survival  neural-networks  cox-model  machine-learning  bayesian  bayesian-network  hierarchical-bayesian  pooling 

신경망과 그래픽 모델을 수학적으로 연결하는 데 어려움을 겪고 있습니다. 그래픽 모델에서 아이디어는 간단합니다. 확률 분포는 그래프의 기울기에 따라 인수 분해되며, 일반적으로 전위는 지수 계열입니다. 신경망에 대한 동등한 추론이 있습니까? Restricted Boltzmann 기계 또는 CNN의 단위 (변수)에 대한 확률 분포를 에너지 또는 단위 간 에너지의 곱으로 나타낼 수 있습니까? 또한 확률 …

12 neural-networks  markov-process  graphical-model  deep-learning  deep-belief-networks 

실수를 확률로 변환하기 위해 신경망에서 일반적으로 사용되는 softmax 함수는 열역학에서 주어진 온도 T에서 열 평형에서 입자의 앙상블에 대한 에너지에 대한 확률 분포 인 Boltzmann 분포와 동일한 기능입니다. 이것이 실용적인 이유에 대한 명확한 휴리스틱 이유를 볼 수 있습니다. 입력 값이 음수인지에 관계없이 softmax는 1에 해당하는 양수 값을 출력합니다. 항상 차별화가 가능하므로 …

12 machine-learning  neural-networks  softmax 

스탠포드의 CS231N 강의를보고 있었고 CNN 아키텍처의 일부 문제를 해결하려고 노력하고 있습니다. 내가 이해하려고하는 것은 컨볼 루션 필터 크기와 보폭과 같은 것들을 선택하기위한 일반적인 지침이 있거나 이것이 과학보다 예술입니까? 풀링은 주로 어떤 형태의 번역 불일치를 모델로 유도하기 위해 존재한다는 것을 이해합니다. 반면에, 보폭이 어떻게 선택되는지에 대한 좋은 직감이 없습니다. 현재 레이어 …

12 neural-networks  deep-learning  conv-neural-network 

나는 회선 신경망을 연구하고 구현하려고 노력하고 있지만이 질문이 일반적으로 다층 퍼셉트론에 적용되는 것으로 가정합니다. 내 네트워크의 출력 뉴런은 각 클래스의 활성화를 나타냅니다. 가장 활동적인 뉴런은 주어진 입력에 대해 예측 된 클래스에 해당합니다. 훈련에 대한 교차 엔트로피 비용을 고려하기 위해 네트워크의 끝에 softmax 레이어를 추가하여 각 뉴런의 활성화 값이 확률 값으로 …

12 neural-networks  deep-learning  conv-neural-network  nonlinear  softmax 

모든 딥 러닝 모델에 대한 답변이 하나도 없다고 생각합니다. 딥 러닝 모델 중 매개 변수는 무엇이며 비모수는 무엇입니까?

12 neural-networks  deep-learning  nonparametric  parametric 

내가 아는 한, 자동 엔코더와 t-SNE는 비선형 차원 축소에 사용됩니다. 차이점은 무엇이며 왜 다른 것을 사용해야합니까?

12 neural-networks  deep-learning  dimensionality-reduction  autoencoders  tsne 

딥 러닝에 관한 Goodfellow (2016)의 저서에서 그는 L2 정규화 ( https://www.deeplearningbook.org/contents/regularization.html 247 쪽) 의 조기 중지와 동등한 내용에 대해 이야기했습니다 . 비용 함수 의 2 차 근사값 은 다음과 같습니다.jjj 제이^( θ ) = J( 승※) + 12( w − w※)티H( w − w※)J^(θ)=J(w∗)+12(w−w∗)TH(w−w∗)\hat{J}(\theta)=J(w^*)+\frac{1}{2}(w-w^*)^TH(w-w^*) 여기서 는 헤 시안 행렬입니다 (식 …

11 neural-networks  deep-learning  loss-functions  derivative 

내 이해에서 CNN은 두 부분으로 구성됩니다. 특징 추출을 수행하는 첫 번째 부분 (conv / pool layer)과 특징으로부터 분류를 수행하는 두 번째 부분 (fc layer). 완전히 연결된 신경망은 최고의 분류기 (예 : 대부분 SVM 및 RF에 의해 성능이 뛰어남)가 아니기 때문에 왜 CNN이 SVM 또는 RF가 아니라 FC 레이어로 결론을 내립니까?

11 neural-networks  svm  random-forest  conv-neural-network 

예를 들어, 사람의 사진을 기반으로 연령 추정기를 구축한다고 가정 해 봅시다. 아래에는 정장을 입은 두 사람이 있지만 첫 번째 사람은 두 번째 사람보다 젊습니다. (출처 : tinytux.com ) 이것을 의미하는 많은 특징, 예를 들어면 구조가 있습니다. 그러나 가장 눈에 띄는 특징은 머리 크기와 신체 크기 의 비율입니다 . (출처 : …

11 neural-networks  computer-vision 

Ian Goodfellow의 저서 Deep Learning 에서 읽은 내용이 있습니다. 신경망의 맥락에서, "L2 매개 변수 규범 페널티는 일반적으로 무게 감소로 알려져 있습니다.이 정규화 전략은 가중치를 원점에 더 가깝게 이동시킵니다. [...] 더 일반적으로, 매개 변수를 특정 지점에 가깝게 정규화 할 수 있습니다. 공간에서 "라고하지만 모델 매개 변수를 0으로 정규화하는 것이 훨씬 일반적입니다. …

11 machine-learning  neural-networks  deep-learning  regularization