«cross-entropy» 태그된 질문

객체 집합을 n 클래스로 분류하기 위해 신경망을 훈련하고 있습니다. 각 객체는 동시에 여러 클래스에 속할 수 있습니다 (멀티 클래스, 멀티 레이블). 다중 클래스 문제의 경우 일반적으로 mse 대신 손실 함수로 softmax 및 categorical cross entropy를 사용하는 것이 좋습니다. 나는 그 이유를 다소 이해합니다. 다중 레이블에 대한 문제의 경우 각 클래스 …

64 neural-networks  python  loss-functions  keras  cross-entropy 

역 전파가 softmax / cross-entropy 출력 레이어에서 어떻게 작동하는지 이해하려고합니다. 교차 엔트로피 오류 함수는 E(t,o)=−∑jtjlogojE(t,o)=−∑jtjlog⁡ojE(t,o)=-\sum_j t_j \log o_j 과 와 출력 뉴런의 목표 출력으로서 J 각각. 합계는 출력 레이어의 각 뉴런 위에 있습니다. o를 J 자체 softmax를 함수의 결과이다 :tttooojjjojojo_j oj=softmax(zj)=ezj∑jezjoj=softmax(zj)=ezj∑jezjo_j=softmax(z_j)=\frac{e^{z_j}}{\sum_j e^{z_j}} 다시, 합은 출력 레이어의 각 뉴런 위에 있으며 …

40 backpropagation  derivative  softmax  cross-entropy 

제 생각에는 샘플 분포에서 실제 분포로의 KL 발산은 단순히 크로스 엔트로피와 엔트로피의 차이입니다. 많은 기계 학습 모델에서 교차 엔트로피를 사용하여 비용 함수로 사용하지만 t-sne에서 Kullback-Leibler 분기를 사용하는 이유는 무엇입니까? 학습 속도에 차이가 있습니까?

39 kullback-leibler  tsne  cross-entropy 

우선, 이진 예측을 수행해야하는 경우 원 핫 인코딩을 수행하여 두 개 이상의 클래스를 만들어야한다는 것을 깨달았습니다. 이 올바른지? 그러나 클래스가 하나 뿐인 예측에 대해서만 이진 교차 엔트로피입니까? TensorFlow와 같은 대부분의 라이브러리에서 일반적으로 발견되는 범주 형 크로스 엔트로피 손실을 사용한다면 큰 차이가 있습니까? 실제로 범주와 이진 교차 엔트로피의 정확한 차이점은 무엇입니까? …

35 machine-learning  neural-networks  loss-functions  tensorflow  cross-entropy 

5.5에서는 딥 러닝 (Ian Goodfellow, Yoshua Bengio 및 Aaron Courville의)에 따르면 음의 로그 우도로 구성된 손실은 훈련 세트에 의해 정의 된 경험적 분포와 모델에 의해 정의 된 확률 분포 사이의 교차 엔트로피입니다. 예를 들어, 평균 제곱 오차는 경험적 분포와 가우스 모델 간의 교차 엔트로피입니다. 나는 그들이 왜 동등한 지 이해할 …

28 machine-learning  normal-distribution  cross-entropy 

완전 컨볼 루션 네트워크와 같은 픽셀 세분화 신경망을 훈련 할 때 교차 엔트로피 손실 함수 대 주사위 계수 손실 함수를 어떻게 사용하기로 결정합니까? 나는 이것이 짧은 질문이라는 것을 알고 있지만 다른 정보를 제공 해야할지 확실하지 않습니다. 두 가지 손실 함수에 대한 많은 문서를 보았지만 언제 다른 것을 사용할 것인지에 대한 …

27 neural-networks  loss-functions  cross-entropy 

비트 자동 인코더를 실험하고 있으며 tensorflow를 사용하여 MNIST 데이터 세트를 재구성하는 모델을 만들었습니다. 내 네트워크는 매우 간단합니다. X, e1, e2, d1, Y. 여기서 e1과 e2는 인코딩 레이어이고 d2와 Y는 디코딩 레이어입니다 (Y는 재구성 된 출력). X는 784 개, e1은 100, e2는 50, d1은 다시 100, Y 784를 다시 갖습니다. 레이어 …

22 mse  autoencoders  tensorflow  cross-entropy 

교차 엔트로피 비용은 회귀와 관련하여 (분류가 아닌) 의미가 있습니까? 그렇다면 TensorFlow를 통해 장난감 예제를 제공 할 수 있습니까? 그렇지 않다면 왜 안됩니까? Michael Nielsen의 Neural Networks 및 Deep Learning 에서 교차 엔트로피에 대해 읽었 으며 회귀 및 분류에 자연스럽게 사용할 수있는 것처럼 보이지만 이후 TensorFlow에서 어떻게 효율적으로 적용하는지 이해할 수 …

13 regression  entropy  tensorflow  cross-entropy 

신경망과 딥 러닝 닷컴 자습서를 통해 신경망에 대해 배우기 시작했습니다. 특히 3 장 에는 교차 엔트로피 기능에 대한 섹션이 있으며 교차 엔트로피 손실을 다음과 같이 정의합니다. 씨= − 1엔∑엑스∑제이( y제이lnㅏ엘제이+ ( 1 − y제이) ln( 1 − a엘제이) )씨=−1엔∑엑스∑제이(와이제이ln⁡ㅏ제이엘+(1−와이제이)ln⁡(1−ㅏ제이엘))C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j + (1-y_j) \ln (1 …

12 neural-networks  loss-functions  softmax  cross-entropy 

독립적 인 관측치 이 주어진 것으로 알고 최우 추정기 (또는 평면과 등가의 MAP / 균일 종래)인지 식별 파라미터 \ mathbf {θ} 모델 분포 생성 P_ {모델} \ 이러한 관측치와 가장 일치하는 left (\, \ cdot \,; \ mathbf {θ} \ right)O = { O ( 1 ) , . . …

12 maximum-likelihood  deep-learning  cross-entropy 

두 개의 이산 분포 및 에 대해 교차 엔트로피는 다음과 같이 정의됩니다.q피피p큐큐q H( p , q) = − ∑엑스p ( x ) 로그큐( x ) .H(피,큐)=−∑엑스피(엑스)로그⁡큐(엑스).H(p,q)=-\sum_x p(x)\log q(x). 이것이 왜 두 확률 분포 사이의 거리를 직관적으로 측정 할 수 있을지 궁금합니다. 그 볼 의 엔트로피 , 측정치 「놀람」 . 는 …

11 probability  distributions  cross-entropy