«loss-functions» 태그된 질문

나는 두 가지 유형의 물류 손실 공식을 보았다. 우리는 그것들이 동일하다는 것을 쉽게 보여줄 수 있습니다. 유일한 차이점은 레이블 의 정의입니다 .yyy 공식화 / 표기법 1, :y∈{0,+1}y∈{0,+1}y \in \{0, +1\} L(y,βTx)=−ylog(p)−(1−y)log(1−p)L(y,βTx)=−ylog⁡(p)−(1−y)log⁡(1−p) L(y,\beta^Tx)=-y\log(p)-(1-y)\log(1-p) 여기서 에서 로지스틱 함수는 실수 \ beta ^ T x 를 0.1 간격으로 매핑 합니다. βTxp=11+exp(−βTx)p=11+exp⁡(−βTx)p=\frac 1 {1+\exp(-\beta^Tx)}βTxβTx\beta^T …

23 logistic  generalized-linear-model  notation  loss-functions 

max(0,1−yi(w⊺xi+b))max(0,1−yi(w⊺엑스나는+비))\max(0,1-y_i(w^\intercal x_i+b))‖w‖2최대(0,1-YI(w⊺XI+B))12∥ w ∥2+ C∑나는max(0,1−yi(w⊺xi+b))12‖w‖2+C∑imax(0,1−yi(w⊺xi+b)) \frac{1}{2}\|w\|^2+C\sum_i\max(0,1-y_i(w^\intercal x_i+b)) ∥w∥2‖w‖2\|w\|^2max(0,1−yi(w⊺xi+b))max(0,1−yi(w⊺xi+b))\max(0,1-y_i(w^\intercal x_i+b)) 그러나 하드 마진 SVM의 경우 전체 목적 함수는 12∥w∥212‖w‖2 \frac{1}{2}\|w\|^2 . 이는 하드 마진 SVM이 손실 기능없이 정규화기만 최소화한다는 의미입니까? 매우 이상하게 들립니다. 만약이 경우에 12∥w∥212‖w‖2\frac{1}{2}\|w\|^2 가 손실 함수라면, 2 차 손실 함수라고 부를 수 있습니까? 그렇다면 왜 하드 마진 SVM의 …

23 svm  loss-functions 

여기에는 비슷한 스레드가 있습니다 ( 신경 네트워크의 비용 함수는 볼록하지 않습니까? ). 나는 거기에 대한 답변의 요점을 이해할 수 없었으며 이것을 다시 요구하는 이유는 몇 가지 문제를 분명히 할 것입니다. 제곱 차분 비용 함수의 합계를 사용하는 경우 궁극적으로 형식의 것을 최적화합니다.ΣNi=1(yi−yi^)2Σi=1N(yi−yi^)2 \Sigma_{i=1}^{N}(y_i - \hat{y_i})^2 여기서 는 훈련 중 실제 레이블 …

22 machine-learning  neural-networks  optimization  loss-functions  convex 

R 패키지 randomForest 에서 오 분류 비용을 제어 할 수 있습니까? 내 자신의 연구에서 허위 부정 (예를 들어, 사람이 질병을 앓고있을 수있는 오류가 없음)은 허위 양성보다 훨씬 비쌉니다. 패키지 부품 은 사용자가 잘못 분류 된 가중치를 다르게하는 손실 매트릭스를 지정함으로써 잘못된 분류 비용을 제어 할 수 있도록합니다. 비슷한 것이 randomForest있습니까? …

21 r  classification  random-forest  loss-functions  metric 

이 질문에는 이미 답변이 있습니다 . 비용 함수의 변화는 어떻게 긍정적일 수 있습니까? (1 답변) 신경망이 학습하지 않으면 어떻게해야합니까? (5 답변) 지난달 휴무 . 4 가지 유형의 시퀀스를 분류하기 위해 모델 (Recurrent Neural Network)을 훈련하고 있습니다. 훈련을 진행할 때 훈련 배치에서 샘플의 90 % 이상을 올바르게 분류 할 때까지 훈련 …

21 machine-learning  neural-networks  loss-functions  rnn  training-error 

모수 추정에 대한 통계의 '기본'아이디어는 최대 가능성 입니다. 기계 학습에서 해당 아이디어가 무엇인지 궁금합니다. Qn 1. 매개 변수 추정을위한 머신 러닝의 '기본'아이디어는 '손실 함수'라고 말할 수 있습니다. [참고 : 머신 러닝 알고리즘은 종종 손실 함수를 최적화하여 위의 질문에 대한 것입니다.] Qn 2 : 통계와 머신 러닝 사이의 격차를 해소하려는 문헌이 …

19 machine-learning  maximum-likelihood  loss-functions  pac-learning 

손실 함수의 목적이 무엇인지 파악하려고 노력하고 있으며 이해할 수 없습니다. 따라서 손실 함수를 이해하는 한, 잘못된 결정의 "비용"을 측정 할 수있는 일종의 메트릭을 도입하는 것입니다. 30 개 개체의 데이터 세트를 가지고 있고이를 20/10과 같은 훈련 / 테스트 세트로 나누었다 고 가정하겠습니다. 0-1 손실 함수를 사용할 것이므로 클래스 레이블 세트가 M …

19 machine-learning  loss-functions 

사람들이 종종 ROC-AUC 또는 AveP (평균 정밀도)를 보고하는 문제 영역에서 일 합니다. 그러나 최근에 Log Loss 를 최적화하는 논문을 찾았 지만 다른 사람들은 Hinge Loss를 보고했습니다 . 이러한 측정 항목이 계산되는 방식을 이해하고 있지만, 이러한 측정 항목 간의 균형을 이해하는 데 어려움을 겪고 있습니다. ROC-AUC vs Precision-Recall과 관련 하여이 스레드 …

18 loss-functions 

사전 설정이 평평하면 ML (자주 주의자-최대 우도) 및 MAP (Bayesian-최대 사후 계산) 추정기가 일치합니다. 그러나 더 일반적으로, 나는 일부 손실 함수의 최적화 프로그램으로 도출 된 포인트 추정기에 대해 이야기하고 있습니다. 즉 x^(.)=argminE(L(X−x^(y))|y) (Bayesian) x^(.)=argminE(L(X−x^(y))|y) (Bayesian) \hat x(\,. ) = \text{argmin} \; \mathbb{E} \left( L(X-\hat x(y)) \; | \; y \right) …

17 bayesian  estimation  loss-functions  frequentist  decision-theory 

Tensorflow에는 CIFAR-10 분류에 대한 예제 자습서가 있습니다. 자습서에서 배치 전체의 평균 교차 엔트로피 손실이 최소화됩니다. def loss(logits, labels): """Add L2Loss to all the trainable variables. Add summary for for "Loss" and "Loss/avg". Args: logits: Logits from inference(). labels: Labels from distorted_inputs or inputs(). 1-D tensor of shape [batch_size] Returns: Loss …

17 neural-networks  loss-functions  tensorflow 

로그 손실과 작동 방식을 더 잘 이해하려고하지만 찾을 수없는 것 중 하나는 로그 손실 번호를 일종의 컨텍스트에 넣는 것입니다. 내 모델의 로그 손실이 0.5이면 좋습니까? 좋은 점수와 나쁜 점수는 무엇입니까? 이러한 임계 값은 어떻게 변경됩니까?

16 machine-learning  loss-functions  log-loss 

기계 학습의 필수 아이디어 중 일부에 대한 세계적 관점을 얻으려고 노력하고 있으며 손실의 다른 개념 (제곱, 로그, 힌지, 프록시 등)에 대한 포괄적 인 처리가 있는지 궁금합니다. 나는 Loss Function Semantics 에 관한 John Langford의 훌륭한 포스트에 대한보다 포괄적이고 공식적인 발표를 통해 무언가를 생각하고있었습니다 .

16 references  loss-functions 

장난감 데이터 세트에서 이진 분류를 수행하기 위해 제곱 손실을 사용하려고합니다. mtcars데이터 세트를 사용하고 있으며 갤런 당 마일과 무게를 사용 하여 전송 유형을 예측합니다. 아래 그림은 서로 다른 색상의 두 가지 유형의 전송 유형 데이터와 서로 다른 손실 함수로 생성 된 결정 경계를 보여줍니다. 제곱 손실은 여기서 는 기본 진리 레이블 …

16 r  machine-learning  logistic  optimization  loss-functions 

Yolo v2 손실 기능을 이해하려고합니다. λcoord∑i=0S2∑j=0B1objij[(xi−x^i)2+(yi−y^i)2]+λcoord∑i=0S2∑j=0B1objij[(wi−−√−w^i−−√)2+(hi−−√−h^i−−√)2]+∑i=0S2∑j=0B1objij(Ci−C^i)2+λnoobj∑i=0S2∑j=0B1noobjij(Ci−C^i)2+∑i=0S21obji∑c∈classes(pi(c)−p^i(c))2λcoord∑i=0S2∑j=0B1ijobj[(xi−x^i)2+(yi−y^i)2]+λcoord∑i=0S2∑j=0B1ijobj[(wi−w^i)2+(hi−h^i)2]+∑i=0S2∑j=0B1ijobj(Ci−C^i)2+λnoobj∑i=0S2∑j=0B1ijnoobj(Ci−C^i)2+∑i=0S21iobj∑c∈classes(pi(c)−p^i(c))2\begin{align} &\lambda_{coord} \sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{obj}[(x_i-\hat{x}_i)^2 + (y_i-\hat{y}_i)^2 ] \\&+ \lambda_{coord} \sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{obj}[(\sqrt{w_i}-\sqrt{\hat{w}_i})^2 +(\sqrt{h_i}-\sqrt{\hat{h}_i})^2 ]\\ &+ \sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{obj}(C_i - \hat{C}_i)^2 + \lambda_{noobj}\sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{noobj}(C_i - \hat{C}_i)^2 \\ &+ \sum_{i=0}^{S^2} \mathbb{1}_{i}^{obj}\sum_{c \in classes}(p_i(c) - \hat{p}_i(c))^2 \\ \end{align} 사람이 기능을 자세히 설명 할 수 있다면.

16 neural-networks  loss-functions  object-detection  yolo 

힌지 손실을 이용하여 정의 될 수있는 및 로그 손실로 정의 될 수 로그 ( 1 + EXP ( - Y I w T는 X I를 ) )max(0,1−yiwTxi)max(0,1−yiwTxi)\text{max}(0, 1-y_i\mathbf{w}^T\mathbf{x}_i)log(1+exp(−yiwTxi))log(1+exp⁡(−yiwTxi))\text{log}(1 + \exp(-y_i\mathbf{w}^T\mathbf{x}_i)) 다음과 같은 질문이 있습니다. 힌지 손실의 단점이 있습니까 (예 : http://www.unc.edu/~yfliu/papers/rsvm.pdf에 언급 된 특이 치에 민감 함 )? 하나와 다른 …

14 machine-learning  svm  loss-functions  computer-vision