«loss-functions» 태그된 질문

객체 집합을 n 클래스로 분류하기 위해 신경망을 훈련하고 있습니다. 각 객체는 동시에 여러 클래스에 속할 수 있습니다 (멀티 클래스, 멀티 레이블). 다중 클래스 문제의 경우 일반적으로 mse 대신 손실 함수로 softmax 및 categorical cross entropy를 사용하는 것이 좋습니다. 나는 그 이유를 다소 이해합니다. 다중 레이블에 대한 문제의 경우 각 클래스 …

64 neural-networks  python  loss-functions  keras  cross-entropy 

신경망 의 비용 함수 는 J(W,b)J(W,b)J(W,b) 이며 볼록하지 않은 것으로 주장됩니다 . 로지스틱 회귀의 비용 함수와 매우 유사하다는 것을 알기 때문에 왜 그런 식인지 이해가되지 않습니다. 볼록하지 않은 경우 2 차 미분 ∂J∂W&lt;0∂J∂W&lt;0\frac{\partial J}{\partial W} < 0, 맞습니까? 최신 정보 @gung의 의견뿐만 아니라 아래의 답변 덕분에 숨겨진 층이 전혀 없다면 …

36 neural-networks  loss-functions 

우선, 이진 예측을 수행해야하는 경우 원 핫 인코딩을 수행하여 두 개 이상의 클래스를 만들어야한다는 것을 깨달았습니다. 이 올바른지? 그러나 클래스가 하나 뿐인 예측에 대해서만 이진 교차 엔트로피입니까? TensorFlow와 같은 대부분의 라이브러리에서 일반적으로 발견되는 범주 형 크로스 엔트로피 손실을 사용한다면 큰 차이가 있습니까? 실제로 범주와 이진 교차 엔트로피의 정확한 차이점은 무엇입니까? …

35 machine-learning  neural-networks  loss-functions  tensorflow  cross-entropy 

기계 학습에 대한 Coursera의 Andrew Ng가 제공 한 선형 회귀에 대한 강의와 약간 혼동됩니다. 거기서 그는 다음과 같이 제곱합을 최소화하는 비용 함수를 제공했습니다. 12m∑i=1m(hθ(X(i))−Y(i))212m∑i=1m(hθ(X(i))−Y(i))2 \frac{1}{2m} \sum _{i=1}^m \left(h_\theta(X^{(i)})-Y^{(i)}\right)^2 나는 1을 이해1212\frac{1}{2} 에서 온. 제곱 항에서 도함수를 수행 할 때 제곱 항의 2가 반으로 취소되도록 그렇게했다고 생각합니다. 그러나 나는1을이해하지 못한다.1m1m\frac{1}{m} 왔습니다. …

31 regression  machine-learning  loss-functions 

"손실"이라는 용어는 "오류"와 동의어입니까? 정의에 차이가 있습니까? 또한 "손실"이라는 용어의 기원은 무엇입니까? 주의 : 여기에 언급 된 오류 기능은 일반 오류와 혼동되어서는 안됩니다.

31 loss-functions 

로지스틱 회귀 분석에 대한 손실 함수의 두 가지 버전에 대해 읽었습니다. 둘 중 어느 것이 정확하고 왜 그런가요? 에서 기계 학습 , 저우 ZH (중국어에)와 β=(w,b) and βTx=wTx+bβ=(w,b) and βTx=wTx+b\beta = (w, b)\text{ and }\beta^Tx=w^Tx +b : l(β)=∑i=1m(−yiβTxi+ln(1+eβTxi))(1)(1)l(β)=∑i=1m(−yiβTxi+ln⁡(1+eβTxi))l(\beta) = \sum\limits_{i=1}^{m}\Big(-y_i\beta^Tx_i+\ln(1+e^{\beta^Tx_i})\Big) \tag 1 내 대학 과정에서 zi=yif(xi)=yi(wTxi+b)zi=yif(xi)=yi(wTxi+b)z_i = y_if(x_i)=y_i(w^Tx_i + b) …

30 logistic  loss-functions 

예를 들어 내 문제를 설명하겠습니다. {나이, 성별, 국가, 지역, 도시}와 같은 속성이 주어진 개인의 소득을 예측한다고 가정합니다. 당신은 이와 같은 훈련 데이터 세트를 가지고 있습니다 train &lt;- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", "M","F","M","F", "F","F","F","M")), Income=c(31,42,71,65, 50,51,101,38, 47,50,55,23)) train CountryID RegionID CityID Age …

29 regression  machine-learning  multilevel-analysis  correlation  dataset  spatial  paired-comparisons  cross-correlation  clustering  aic  bic  dependent-variable  k-means  mean  standard-error  measurement-error  errors-in-variables  regression  multiple-regression  pca  linear-model  dimensionality-reduction  machine-learning  neural-networks  deep-learning  conv-neural-network  computer-vision  clustering  spss  r  weighted-data  wilcoxon-signed-rank  bayesian  hierarchical-bayesian  bugs  stan  distributions  categorical-data  variance  ecology  r  survival  regression  r-squared  descriptive-statistics  cross-section  maximum-likelihood  factor-analysis  likert  r  multiple-imputation  propensity-scores  distributions  t-test  logit  probit  z-test  confidence-interval  poisson-distribution  deep-learning  conv-neural-network  residual-networks  r  survey  wilcoxon-mann-whitney  ranking  kruskal-wallis  bias  loss-functions  frequentist  decision-theory  risk  machine-learning  distributions  normal-distribution  multivariate-analysis  inference  dataset  factor-analysis  survey  multilevel-analysis  clinical-trials 

예를 들어, 번째 반복 에서 XGBoost 모델의 목적 함수를 사용하십시오 .ttt L(t)=∑i=1nℓ(yi,y^(t−1)i+ft(xi))+Ω(ft)L(t)=∑i=1nℓ(yi,y^i(t−1)+ft(xi))+Ω(ft)\mathcal{L}^{(t)}=\sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)}+f_t(\mathbf{x}_i))+\Omega(f_t) 여기서 은 손실 함수이고, 는 번째 트리 출력이고 \ Omega 는 정규화입니다. 빠른 계산을위한 (다수) 주요 단계 중 하나는 근사치입니다.ℓℓ\ellftftf_ttttΩΩ\Omega L(t)≈∑i=1nℓ(yi,y^(t−1)i)+gtft(xi)+12hif2t(xi)+Ω(ft),L(t)≈∑i=1nℓ(yi,y^i(t−1))+gtft(xi)+12hift2(xi)+Ω(ft),\mathcal{L}^{(t)}\approx \sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)})+g_tf_t(\mathbf{x}_i)+\frac{1}{2}h_if_t^2(\mathbf{x}_i)+\Omega(f_t), 여기서 gigig_i 및 hihih_i 는 손실 함수의 1 차 및 2 차 미분입니다. 내가 요구하는 것은 …

28 optimization  loss-functions  boosting  xgboost  taylor-series 

우리는 일부 객관적인 기능이 최적화하기 쉽고 일부는 어렵다는 것을 알고 있습니다. 그리고 우리가 사용하고자하지만 사용하기 어려운 많은 손실 함수가 있습니다 (예 : 0-1 손실). 그래서 우리 는 작업을 수행하기 위해 프록시 손실 기능을 찾습니다 . 예를 들어 힌지 손실 또는 로지스틱 손실을 사용하여 0-1 손실을 "대략적인"수준으로 만듭니다. 다음은 Chris Bishop의 …

27 machine-learning  classification  optimization  loss-functions 

완전 컨볼 루션 네트워크와 같은 픽셀 세분화 신경망을 훈련 할 때 교차 엔트로피 손실 함수 대 주사위 계수 손실 함수를 어떻게 사용하기로 결정합니까? 나는 이것이 짧은 질문이라는 것을 알고 있지만 다른 정보를 제공 해야할지 확실하지 않습니다. 두 가지 손실 함수에 대한 많은 문서를 보았지만 언제 다른 것을 사용할 것인지에 대한 …

27 neural-networks  loss-functions  cross-entropy 

훈련 손실이 줄어들었다가 다시 증가합니다. 매우 이상합니다. 교차 검증 손실은 훈련 손실을 추적합니다. 무슨 일이야? Keras에서 다음과 같이 두 개의 스택 LSTMS가 있습니다. model = Sequential() model.add(LSTM(512, return_sequences=True, input_shape=(len(X[0]), len(nd.char_indices)))) model.add(Dropout(0.2)) model.add(LSTM(512, return_sequences=False)) model.add(Dropout(0.2)) model.add(Dense(len(nd.categories))) model.add(Activation('sigmoid')) model.compile(loss='binary_crossentropy', optimizer='adadelta') 나는 100 Epochs를 위해 그것을 훈련시킵니다. model.fit(X_train, np.array(y_train), batch_size=1024, nb_epoch=100, validation_split=0.2) 127803 …

26 machine-learning  neural-networks  loss-functions  lstm 

기본 그라디언트 하강을 구현하려고하는데 힌지 손실 기능으로 테스트하고 있습니다. . 그러나 힌지 손실의 그라디언트에 대해 혼란 스럽습니다. 나는 그것이lhinge=max(0,1−y x⋅w)lhinge=max(0,1−y x⋅w)l_{\text{hinge}} = \max(0,1-y\ \boldsymbol{x}\cdot\boldsymbol{w}) ∂∂wlhinge={−y x0if y x⋅w&lt;1if y x⋅w≥1∂∂wlhinge={−y xif y x⋅w&lt;10if y x⋅w≥1 \frac{\partial }{\partial w}l_{\text{hinge}} = \begin{cases} -y\ \boldsymbol{x} &\text{if } y\ \boldsymbol{x}\cdot\boldsymbol{w} < 1 \\ 0&\text{if …

25 loss-functions 

나는 Quantile 회귀를 이해하려고 노력하고 있지만, 고통받는 한 가지는 손실 함수의 선택입니다. ρτ(u)=u(τ−1{u&lt;0})ρτ(u)=u(τ−1{u&lt;0})\rho_\tau(u) = u(\tau-1_{\{u<0\}}) 나는 의 최소 ​​기대치가 τ % -quantile 과 같다는 것을 알고 있지만,이 기능으로 시작하는 직관적 인 이유는 무엇입니까? 이 기능을 최소화하는 것과 Quantile의 관계는 보이지 않습니다. 누군가 나에게 설명 할 수 있습니까?ρτ(y−u)ρτ(y−u)\rho_\tau(y-u)τ%τ%\tau\%

24 quantiles  loss-functions  quantile-regression 

문제 회귀 분석에서 일반적으로 샘플에 대한 평균 제곱 오차 (MSE)를 계산합니다 . 를 사용하여 예측 변수의 품질을 측정합니다.MSE=1n∑i=1n(g(xi)−gˆ(xi))2MSE=1n∑i=1n(g(xi)−g^(xi))2 \text{MSE} = \frac{1}{n} \sum_{i=1}^n\left(g(x_i) - \widehat{g}(x_i)\right)^2 지금은 고객이 여러 가지 숫자 기능이 주어진 제품에 대해 기꺼이 지불 할 가격을 예측하는 것이 목표 인 회귀 문제를 해결하고 있습니다. 예상 가격이 너무 높으면 고객이 …

24 regression  error  loss-functions 

그래서 나는 어느 중앙 측정치 L1 (즉, 올가미)와 L2 (즉, 능선 회귀)가 추정되는지에 대한 질문을 받았다. 답은 L1 = 중간 값이고 L2 = 평균입니다. 이것에 대한 직관적 인 추론이 있습니까? 아니면 대수적으로 결정해야합니까? 그렇다면 어떻게해야합니까?

24 lasso  regularization  loss-functions  ridge-regression