«optimization» 태그된 질문

1

왜 우리는 신경망 이외의 것들에 알맞은 기울기가 아닌 일정한 학습 속도를 사용하지 않습니까?

딥 러닝 문학은 기울기 강하에서 일정하지 않은 학습 속도를 사용하는 영리한 속임수로 가득합니다. 지수 붕괴, RMSprop, Adagrad 등은 구현하기 쉽고 모든 딥 러닝 패키지에서 사용할 수 있지만 신경망 외부에는 존재하지 않는 것 같습니다. 이것에 대한 이유가 있습니까? 사람들이 단순히 신경 쓰지 않는다면 신경망 외부에서 신경 쓰지 않아도되는 이유가 있습니까?

14 machine-learning  deep-learning  optimization  gradient-descent 

---

1

전체 열 순위 미만의 제한된 최대 가능성

이 질문은 선형 버전의 특정 버전에서 제한된 최대 가능성 (REML) 추정을 다룹니다. Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)),Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)), Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)), 여기서, 인 ( N × P )에 의해 매개 변수화 행렬 α ∈ R의 k는 , 그대로 Σ ( α ) . β 는 알려지지 않은 방해 파라미터 …

14 mixed-model  maximum-likelihood  linear-model  optimization  reml 

---

2

머신 러닝에서 에너지 최소화 란 무엇입니까?

나는 컴퓨터 비전의 잘못된 문제에 대한 최적화에 대해 읽고 있었고 Wikipedia의 최적화에 대한 아래의 설명을 보았습니다. 내가 이해하지 못하는 것은 왜 Computer Vision 에서이 최적화를 " 에너지 최소화 "라고 부르는가? 최적화 문제는 다음과 같이 나타낼 수 있습니다. 을 감안할 때 : 함수 일부 세트에서 실제 숫자f:A→Rf:A→Rf: A \to RAAA 구함 …

14 machine-learning  optimization  computer-vision 

---

2

그라디언트 디센트를 사용하여 k- 평균이 최적화되지 않는 이유는 무엇입니까?

k- 평균 이 일반적으로 Expectation Maximization을 사용하여 최적화 된다는 것을 알고 있습니다. 그러나 다른 최적화 방법과 동일하게 손실 기능을 최적화 할 수 있습니다! 실제로 대규모 k- 평균에 확률 론적 경사 하강 을 사용하는 일부 논문을 찾았 지만 질문에 대한 답변을 얻을 수 없었습니다. 왜 그런지 아는 사람이 있습니까? 기대 극대화가 …

14 optimization  k-means  expectation-maximization  loss-functions 

---

2

최적화 : 통계에서 모든 악의 근원?

나는 전에 다음과 같은 표현을 들었다. "최적화는 통계에서 모든 악의 근원"입니다. 예를 들어이 스레드 의 최상위 답변은 모델을 선택하는 동안 너무 적극적으로 최적화 할 위험에 대한 설명입니다. 내 첫 번째 질문은 다음과 같습니다.이 인용문은 특히 누구에게 귀속됩니까? (예 : 통계 문헌에서) 내가 이해 한 바에 따르면,이 진술은 과적 합의 위험을 …

14 cross-validation  optimization  overfitting 

---

1

평등 및 불평등 제약에 대한 제약 최적화 라이브러리

최적화 기능에 적합한 제한된 최적화 라이브러리 선택에 대한 권장 사항이 있습니까? 나는 ai) 선형 평등과 불평등 제약으로 비선형 함수를 최소화하고 있으며 ii) 함수의 기울기와 헤 시안을 사용할 수 있습니다. 도움이된다면 최소화하고있는 기능은 Kullback-Liebler divergence 입니다. constrOptim 은 불평등 제약 조건 만 처리합니다. Quadprog 는 2 차를 처리합니다. 신뢰 는 제한 …

14 r  optimization  software 

---

3

기계 학습 파이프 라인에서 기능 선택 및 하이퍼 파라미터 최적화를 어떻게 주문해야합니까?

내 목표는 센서 신호를 분류하는 것입니다. 지금까지 내 솔루션의 개념은 다음과 같습니다. i) 원시 신호에서 엔지니어링 기능 ii) ReliefF 및 클러스터링 방식으로 관련 기능 선택 iii) NN, 랜덤 포레스트 및 SVM 적용 그러나 나는 딜레마에 갇혀있다. ii) 및 iii)에는 ReliefF의 k-Nearest Neigbours 또는 센서 신호가 평가되는 창 길이 또는 NN의 …

14 feature-selection  hyperparameter  optimization 

---

2

교차 검증 및 파라미터 최적화

10 배 교차 검증을 사용할 때 매개 변수 최적화에 대한 질문이 있습니다. 모든 접기 모델 훈련 중에 매개 변수를 수정해야하는지 여부를 묻고 싶습니다. 즉 (1) 모든 접기의 평균 정확도에 대해 최적화 된 매개 변수 집합을 하나 선택합니다. 또는 (2) 모든 접기마다 최적화 된 매개 변수를 찾은 다음 모든 접기마다 다른 …

14 cross-validation  optimization  parameterization 

---

5

로지스틱 회귀에 대한 철학적 질문 : 왜 최적의 임계 값이 훈련되지 않습니까?

일반적으로 로지스틱 회귀 분석에서는 모형에 적합하고 훈련 세트에 대한 예측을 얻습니다. 그런 다음 훈련 예측 ( 여기서 와 같은 ) 을 교차 검증 하고 ROC 곡선과 같은 것을 기반으로 최적의 임계 값을 결정합니다. 실제 모델에 임계 값의 교차 검증을 통합하고 전체를 전체적으로 학습하지 않는 이유는 무엇입니까?

13 logistic  cross-validation  optimization  roc  threshold 

---

2

최적화 및 머신 러닝

기계 학습에 얼마나 많은 최적화가 필요한지 알고 싶었습니다. 내가 들었던 것에서 통계는 기계 학습을하는 사람들에게 중요한 수학적 주제입니다. 기계 학습을하는 사람이 볼록 또는 비 볼록 최적화에 대해 배우는 것이 얼마나 중요합니까?

13 machine-learning  optimization 

---

2

간단히 말해서 KKT

객관적인 KKT에 대한 이해가 올바른지 확인하십시오. KKT에 대한 자세한 설명과 확인을 받으십시오. 배경 KKT 조건, 특히 보완적인 조건을 이해하려고하면 SVM 기사에서 항상 파란색으로 나타납니다. 추상 수식 목록은 필요하지 않지만 구체적이고 직관적이며 그래픽적인 설명이 필요합니다. 질문 비용 함수 f (X)를 최소화하는 P가 제약 조건 (g (P)> = 0) 내에 있으면 솔루션입니다. …

13 svm  optimization  lagrange-multipliers 

---

1

협업 필터링의 최신 기술

CF (collaborative filtering)를위한 프로젝트, 즉 부분적으로 관찰 된 매트릭스 또는보다 일반적으로 텐서를 완성하는 중입니다. 나는이 분야의 초보자이며,이 프로젝트를 위해 우리의 방법을 요즘 제안 된 방법, 즉 CF의 최신 기술과 비교하는 다른 잘 알려진 방법과 비교해야합니다. 내 검색에서 다음 방법이 밝혀졌습니다. 실제로 나는이 논문들과 참고 문헌을 보거나 그들이 비교할 때 실험 …

13 optimization  recommender-system  matrix-decomposition 

---

2

p> n 인 경우 올가미는 최대 n 개의 변수를 선택합니다.

탄력적 그물의 동기 중 하나는 다음과 같은 LASSO의 한계였습니다. 에서 경우로 인해 볼록 최적화 문제의 본질 올가미 최대 선택 변수 N 그것을 전에 포화된다. 이것은 변수 선택 방법에 대한 제한 기능인 것 같습니다. 또한, 계수의 L1- 노름에 대한 경계가 특정 값보다 작지 않으면 올가미가 잘 정의되지 않습니다.p > np>np > …

13 regression  optimization  feature-selection  lasso 

---

1

최적화 문제

내 친구가 개의 블렌더 모델을 판매 합니다. 일부 블렌더는 매우 간단하고 저렴하며, 다른 블렌더는 매우 정교하고 비싸다. 그의 데이터는 매월 각 블렌더의 가격 (그가 정한)과 각 모델의 판매 단위 수로 구성됩니다. 어떤 표기법을 확립하기 위해, 그는 몇 달 동안 벡터 여기서 는 개월 동안 블렌더 모델 의 가격 , 는 …

13 optimization 

---

4

EM 알고리즘의 빠른 대안

잠재 변수 (특히 pLSA)가있는 모델을 학습하기위한 EM 알고리즘에 대한 빠른 대안이 있습니까? 속도를 높이기 위해 정밀도를 희생해도 괜찮습니다.

13 machine-learning  optimization  expectation-maximization  lsa 

---