«optimization» 태그된 질문

Naive Bayes 분류기는 클래스 멤버쉽 의 사후 를 최대화하여 항목 를 클래스 할당하는 분류기이며 항목 의 기능이 독립적이라고 가정합니다.xxxCCCP(C|x)P(C|x)P(C|x) 0-1 손실은 모든 잘못된 분류에 "1"의 손실과 "0"의 손실을 올바른 분류에 할당하는 손실입니다. 나는 종종 (1) "Naive Bayes"분류 기가 0-1 손실에 최적이라는 것을 읽습니다. 왜 이것이 사실입니까? (1) 하나의 예시적인 출처 …

13 machine-learning  bayesian  optimization  naive-bayes  loss-functions 

최근에 나는 Yann Dauphin 등의 논문을 읽었습니다. 고차원 비 볼록 최적화에서 새들 포인트 문제를 식별하고 공격합니다 . 여기서 새들 프리 뉴턴 (Saddle-Free Newton) 이라는 흥미로운 하강 알고리즘을 도입합니다. 신경 알고리즘 은 뉴럴 네트워크 최적화에 적합하게 맞춰져 있고 안장 포인트에 걸리지 않아야합니다. 바닐라 SGD와 같은 1 차 방법과 유사합니다. 이 논문은 …

13 optimization  deep-learning  gradient-descent 

조합 최적화 문제에 딥 러닝을 사용하는 연구 그룹이 있습니까?

13 optimization  deep-learning 

이 질문에는 이미 답변이 있습니다 . 역 전파 알고리즘 (2 답변) 휴일 3 개월 전 . 역 전파 알고리즘은 무엇이며 어떻게 작동합니까?

13 algorithms  optimization  neural-networks 

내가 구현 한 가우시안 프로세스 회귀 알고리즘의 하이퍼 매개 변수를 조정하려고합니다. 수식 여기서 K 는 다음과 같은 공분산 행렬입니다. 요소 K_ {ij} = k (x_i, x_j) = b ^ {-1} \ exp (-\ frac {1} {2} (x_i-x_j) ^ TM (x_i-x_j)) + a ^ {-1 } \ delta_ {ij} 여기서 M …

13 regression  optimization  gaussian-process  hyperparameter 

PCA (Principal Component Analysis)의 목적 함수는 L2 규범의 재구성 오류를 최소화하는 것입니다 ( 여기 섹션 2.12 참조) . 또 다른 관점은 투영의 분산을 최대화하려고 시도하는 것입니다. 또한 PCA의 목적 함수는 무엇입니까? ? ). 내 질문은 PCA 최적화 볼록한 것입니까? (나는 여기서 몇 가지 토론을 찾았 지만 누군가가 이력서에 대한 좋은 …

12 machine-learning  pca  optimization  convex 

다음은 가장 절대적인 편차 문제입니다.. LP 방식으로 다음과 같이 재배치 할 수 있다는 것을 알고 있습니다.argminwL(w)=∑ni=1|yi−wTx|arg⁡minwL(w)=∑i=1n|yi−wTx| \underset{\textbf{w}}{\arg\min} L(w)=\sum_{i=1}^{n}|y_{i}-\textbf{w}^T\textbf{x}| min∑ni=1uimin∑i=1nui\min \sum_{i=1}^{n}u_{i} ui≥xTw−yii=1,…,nui≥xTw−yii=1,…,nu_i \geq \textbf{x}^T\textbf{w}- y_{i} \; i = 1,\ldots,n ui≥−(xTw−yi)i=1,…,nui≥−(xTw−yi)i=1,…,nu_i \geq -\left(\textbf{x}^T\textbf{w}-y_{i}\right) \; i = 1,\ldots,n 그러나 LP의 초보자이기 때문에 단계별로 해결할 생각이 없습니다. 당신은 어떤 아이디어가 있습니까? 미리 감사드립니다! 편집하다: …

12 regression  optimization  quantile-regression  linear-programming  least-absolute-deviations 

TL은, DR은 : lme4최적화 기본적 모델 파라미터의 수에 선형으로 나타날 것이다 방법 등가보다 느리게 glm그룹 더미 변수 모델. 속도를 높이기 위해 할 수있는 일이 있습니까? 상당히 큰 계층 적 로짓 모델 (~ 50k 행, 100 열, 50 그룹)을 맞추려고합니다. 일반 로짓 모델을 데이터에 그룹화하면 (그룹에 더미 변수가 있음) 제대로 작동하지만 …

12 r  mixed-model  optimization  lme4-nlme  numerics 

"변이"의 사용은 항상 변이 추론을 통한 최적화를 의미합니까? 예 : "가변 자동 인코더" "가변 베이지안 방법" "변형 재 정규화 그룹"

12 machine-learning  optimization  inference 

RMSProp, Adam 및 SGD가있는 네트워크를 사용하여 EMNIST 검증 세트에 대한 실험을 수행하고 있습니다. L2 정규화 (1e-05 페널티)뿐만 아니라 SGD (학습률 0.1) 및 탈락 (0.1 탈락 확률)으로 87 % 정확도를 달성하고 있습니다. RMSProp 및 Adam을 사용하여 동일한 정확한 구성과 0.001의 초기 학습 속도를 테스트 할 때 85 %의 정확도와 훨씬 덜 …

12 machine-learning  optimization  sgd  adam 

다음은이를 사용하는 keras 코드 샘플입니다. from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu', kernel_constraint=max_norm(3)))

12 neural-networks  regularization  conv-neural-network  optimization 

기계 학습 (회귀 문제의 경우)에서 나는 종종 평균 제곱 오차 (MSE) 또는 평균 절대 오차 (MAE)가 최소화하기 위해 오류 함수로 사용됩니다 (정규화 항). 상관 계수를 사용하는 것이 더 적합한 상황이 있는지 궁금합니다. 이러한 상황이 존재하면 다음을 수행하십시오. 어떤 상황에서 상관 계수가 MSE / MAE에 비해 더 나은 지표입니까? 이러한 상황에서 …

12 regression  machine-learning  svm  optimization  deep-learning 

주어진 응답 (목표) 이진 변수와 최대 간격 수를 매개 변수로 사용하여 연속 변수의 최적 비닝 방법 (분화)을 찾고 있습니다. 예 : 나는 "높이"(숫자 연속)와 "has_back_pains"(이진) 변수를 가진 사람들에 대한 관찰 결과를 가지고 있습니다. 나는 허리 통증이있는 ​​사람들의 다른 비율로 최대 높이를 3 간격 (그룹)으로 이산화하고 싶습니다. 그래서 알고리즘이 그룹 간의 …

12 r  dataset  optimization  discrete-data  binning 

과적 합을 피하기 위해 사람들 은 선형 회귀의 비용 함수에 정규화 매개 변수 와 함께 정규화 용어 (모델의 매개 변수의 제곱합에 비례)를 추가합니다 . 이 매개 변수 는 lagrange multiplier와 동일합니까? 정규화는 lagrange multiplier 방법과 동일합니까? 아니면이 방법들은 어떻게 연결되어 있습니까? λλλ\lambdaλλ\lambda

12 regression  optimization  regularization 

피셔의 정확한 테스트를 더 잘 이해하고 싶기 때문에 f와 m이 남성과 여성에 해당하고 n과 y가 "소다 소비"에 해당하는 다음 장난감 예제를 고안했습니다. > soda_gender f m n 0 5 y 5 0 분명히 이것은 과감한 단순화이지만 컨텍스트가 방해되는 것을 원하지 않았습니다. 여기서 나는 남자들이 음료수를 마시지 않고 여자들은 음료수를 마시고 …

12 fishers-exact  hypergeometric  clustering  supervised-learning  modeling  econometrics  r  regression  residuals  heteroscedasticity  independence  distributions  self-study  matlab  libsvm  self-study  conditional-probability  conditional-expectation  hypothesis-testing  self-study  multiple-comparisons  mode  statistical-significance  chi-squared  multiple-comparisons  maximum-likelihood  poisson-process  optimization  uncertainty  genetic-algorithms  bayesian  model-selection  overfitting  maximum-likelihood  optimization  approximation  r  prediction  model-evaluation  r  machine-learning  survival  neural-networks  cox-model  machine-learning  bayesian  bayesian-network  hierarchical-bayesian  pooling