«softmax» 태그된 질문

로지스틱 분류기에서 기능 선택 (Softmax vs Sigmoid)을 결정하는 것은 무엇입니까? 4 개의 출력 클래스가 있다고 가정하십시오. 위의 각 함수는 각 클래스의 확률이 올바른 출력이되도록합니다. 그렇다면 분류자를 위해 어느 것을 사용해야합니까?

62 machine-learning  logistic  classification  softmax 

역 전파가 softmax / cross-entropy 출력 레이어에서 어떻게 작동하는지 이해하려고합니다. 교차 엔트로피 오류 함수는 E(t,o)=−∑jtjlogojE(t,o)=−∑jtjlog⁡ojE(t,o)=-\sum_j t_j \log o_j 과 와 출력 뉴런의 목표 출력으로서 J 각각. 합계는 출력 레이어의 각 뉴런 위에 있습니다. o를 J 자체 softmax를 함수의 결과이다 :tttooojjjojojo_j oj=softmax(zj)=ezj∑jezjoj=softmax(zj)=ezj∑jezjo_j=softmax(z_j)=\frac{e^{z_j}}{\sum_j e^{z_j}} 다시, 합은 출력 레이어의 각 뉴런 위에 있으며 …

40 backpropagation  derivative  softmax  cross-entropy 

이 페이지를 읽었습니다 : http://neuralnetworksanddeeplearning.com/chap3.html 교차 엔트로피를 갖는 시그 모이 드 출력층은 로그 우도를 갖는 소프트 맥스 출력층과 상당히 유사하다고 말했다. 출력 레이어에서 로그 가능성이있는 시그 모이 드 또는 교차 엔트로피가있는 소프트 맥스를 사용하면 어떻게됩니까? 괜찮아? becuase 나는 교차 엔트로피 (eq.57) 사이에 방정식의 차이가 거의 없다는 것을 알았습니다. 기음= − …

31 neural-networks  maximum-likelihood  softmax 

나는 현재 시맨틱 세그먼테이션 / 인스턴스 세그먼테이션을위한 이미지 데이터에 대해 컨볼 루션 신경망 (Convolutional Neural Networks, CNN)과 함께 일 해왔다. 필자는 종종 네트워크 출력의 소프트 맥스를 "히트 맵"으로 시각화하여 특정 클래스의 픽셀 당 활성화가 얼마나 높은지를 확인했습니다. 나는 낮은 활성화를 "불확실한"/ "자신감없는"것으로 해석하고 높은 활성화를 "확실한"/ "자신감있는"예측으로 해석했습니다. 기본적으로 이것은 …

22 probability  deep-learning  conv-neural-network  uncertainty  softmax 

벡터에 softmax 함수를 적용하면 "확률"과 000 과 111 사이의 값이 생성됩니다 . 그러나 각 값을 벡터의 합으로 나눌 수 있으며 이는 000 과 111 사이의 확률과 값을 생성 합니다. 여기 에 대한 답변을 읽었 지만 그 이유는 두 기능이 모두 다르지만 이유가 다르기 때문이라고 말합니다.

20 machine-learning  neural-networks  softmax 

출력 변수가 서수 인 것을 예측하도록 신경망을 설정했습니다. 가능한 세 가지 출력 A <B <C를 사용하여 아래에 설명합니다. 신경망을 사용하여 범주 형 데이터를 출력하는 방법은 매우 분명합니다. 출력은 마지막 (보통 완전히 연결된) 레이어의 소프트 맥스이며 범주 당 하나씩이며 예측 된 범주는 가장 큰 출력값을 가진 레이어입니다 (이는 많은 인기있는 모델의 …

20 neural-networks  ordinal-data  softmax 

glmnetwithin caret을 사용하여 최적의 람다를 검색 cv.glmnet하고 동일한 작업을 수행하는 것을 비교하는 데 많은 혼란이있는 것 같습니다 . 다음과 같은 많은 질문이 제기되었습니다. 분류 모델 train.glmnet 대 cv.glmnet? 캐럿과 함께 glmnet을 사용하는 올바른 방법은 무엇입니까? `caret`를 사용한 교차 유효성 검사`glmnet` 그러나 질문의 ​​재현 가능성으로 인한 답변이 없습니다. 첫 번째 질문에 …

14 r  caret  glmnet  machine-learning  neural-networks  maximum  softmax  probability  distributions  mathematical-statistics  random-variable  cdf  statistical-significance  variance  expected-value  ratio  sample-size  reliability  tolerance-interval  wilcoxon-signed-rank  self-study  variance  sampling  mean  machine-learning  svm  libsvm  self-study  sampling  ranks  data-visualization  histogram  machine-learning  classification  normal-distribution  mathematical-statistics  maximum-likelihood  mixture  predictive-models  prediction  seasonality 

왜 단어 2vec의 CBOW 및 스킵 그램 모델에서 자주 사용하지 않는 단어에 대해 계층 적 softmax가 더 나은 단어인지, 음수 샘플링이 더 나은지 궁금합니다. https://code.google.com/p/word2vec/에 대한 소유권 주장을 읽었습니다 .

12 natural-language  word2vec  word-embeddings  softmax 

신경망과 딥 러닝 닷컴 자습서를 통해 신경망에 대해 배우기 시작했습니다. 특히 3 장 에는 교차 엔트로피 기능에 대한 섹션이 있으며 교차 엔트로피 손실을 다음과 같이 정의합니다. 씨= − 1엔∑엑스∑제이( y제이lnㅏ엘제이+ ( 1 − y제이) ln( 1 − a엘제이) )씨=−1엔∑엑스∑제이(와이제이ln⁡ㅏ제이엘+(1−와이제이)ln⁡(1−ㅏ제이엘))C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j + (1-y_j) \ln (1 …

12 neural-networks  loss-functions  softmax  cross-entropy 

실수를 확률로 변환하기 위해 신경망에서 일반적으로 사용되는 softmax 함수는 열역학에서 주어진 온도 T에서 열 평형에서 입자의 앙상블에 대한 에너지에 대한 확률 분포 인 Boltzmann 분포와 동일한 기능입니다. 이것이 실용적인 이유에 대한 명확한 휴리스틱 이유를 볼 수 있습니다. 입력 값이 음수인지에 관계없이 softmax는 1에 해당하는 양수 값을 출력합니다. 항상 차별화가 가능하므로 …

12 machine-learning  neural-networks  softmax 

나는 회선 신경망을 연구하고 구현하려고 노력하고 있지만이 질문이 일반적으로 다층 퍼셉트론에 적용되는 것으로 가정합니다. 내 네트워크의 출력 뉴런은 각 클래스의 활성화를 나타냅니다. 가장 활동적인 뉴런은 주어진 입력에 대해 예측 된 클래스에 해당합니다. 훈련에 대한 교차 엔트로피 비용을 고려하기 위해 네트워크의 끝에 softmax 레이어를 추가하여 각 뉴런의 활성화 값이 확률 값으로 …

12 neural-networks  deep-learning  conv-neural-network  nonlinear  softmax 

기계 학습 문헌에서 확률 분포를 나타 내기 위해 softmax 함수가 종종 사용됩니다. 이것에 대한 이유가 있습니까? 왜 다른 기능을 사용하지 않습니까?

10 machine-learning  distributions  softmax 

닫은. 이 질문은 주제에 맞지 않습니다 . 현재 답변을받지 않습니다. 이 질문을 개선하고 싶습니까? 교차 검증에 대한 주제가 되도록 질문을 업데이트하십시오 . 휴일 11개월 전에 . scikit의 다층 Perceptron에 Softmax 활성화 기능을 적용해야합니다. 신경망 모델 (관리 대상) 주제에 대한 scikit 문서 는 "MLPClassifier가 Softmax를 출력 함수로 적용하여 다중 클래스 분류를 …

9 neural-networks  scikit-learn  multi-class  softmax 

Caffe (딥 러닝 프레임 워크) 는 대부분의 모델 샘플 에서 출력 레이어 SoftmaxWithLoss 로 Softmax Loss Layer 를 사용했습니다 . 내가 아는 한, Softmax Loss 레이어 는 Multinomial Logistic Loss Layer 와 Softmax Layer 의 조합입니다 . 카페에서 그들은 Softmax Loss Layer 그래디언트 계산이 수치 적으로 더 안정적입니다 그러나이 설명은 …

9 multinomial  entropy  sums-of-squares  softmax