«regularization» 태그된 질문

에 단위 제곱합 (즉, 단위 분산) 이 있어야한다는 추가 제약 조건으로 능선 회귀를 고려하십시오 . 필요한 경우 에는 단위 제곱의 합도 있다고 가정 할 수 있습니다. y를y^y^\hat{\mathbf y}yy\mathbf y β^∗λ=argmin{∥y−Xβ∥2+λ∥β∥2}s.t.∥Xβ∥2=1.β^λ∗=arg⁡min{‖y−Xβ‖2+λ‖β‖2}s.t.‖Xβ‖2=1.\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1. \ lambda \ to \ infty 일 때 …

21 pca  regularization  ridge-regression  partial-least-squares  constrained-regression 

정규화 된 추정을 사용하여 일부 고차원 데이터에서 많은 수의 모수를 추정하려고한다고 가정하십시오. 정규화 도구는 추정치에 약간의 편견을 제공하지만 분산 감소가이를 보완하는 것 이상으로 인해 여전히 좋은 절충점이 될 수 있습니다. 신뢰 구간을 추정하려고 할 때 문제가 발생합니다 (예 : Laplace 근사 또는 부트 스트랩 사용). 특히, 추정치의 치우침으로 인해 신뢰 …

21 confidence-interval  bias  regularization  ridge-regression  coverage-probability 

릿지 회귀가 어떻게 계수를 기하학적으로 0으로 축소하는지 이해했습니다. 또한 특수한 "정상적인 경우"에서이를 증명하는 방법을 알고 있지만 "스펙트럼 분해"를 통해 일반적인 경우에 어떻게 작동하는지 혼동됩니다.

20 regression  multiple-regression  regularization  ridge-regression  svd 

통계 학습 알고리즘을 실행하기 전에 기능 선택 방법 (랜덤 포리스트 기능 중요도 값 또는 일 변량 기능 선택 방법 등)을 사용해야하는 것과 관련하여 한 가지 질문이 있습니다. 우리는 과적 합을 피하기 위해 가중치 벡터에 정규화 페널티를 도입 할 수 있습니다. 따라서 선형 회귀를 원한다면 L2 또는 L1 또는 Elastic net …

20 regression  machine-learning  feature-selection  lasso  regularization 

C-SVC 모드에서 2 차 다항식 커널로 libsvm을 사용하고 있으며 여러 SVM을 훈련시켜야합니다. 각 트레이닝 세트에는 10 개의 기능과 5000 개의 벡터가 있습니다. 훈련하는 동안 훈련하는 대부분의 SVM에 대해이 경고가 표시됩니다. WARNING: reaching max number of iterations optimization finished, #iter = 10000000 누군가이 경고가 의미하는 바를 설명하고 어떻게 피할 수 있습니까? …

20 machine-learning  cross-validation  svm  regularization  libsvm 

회귀 정규화 (선형, 로지스틱 등)는 과적 합을 줄이는 가장 보편적 인 방법입니다. 목표가 예측 정확도 (설명하지 않음) 인 경우 정규화에 대한 대안이 있습니까? 특히 빅 데이터 세트 (수십억 개의 관측치 및 수백만 개의 특징)에 적합합니까?

19 regression  regularization  overfitting 

예측이나 예측이 아닌 모형 매개 변수 추정 (및 해석)에만 관심이있는 경우 정규화가 도움이 될 수 있습니까? 새 데이터에 대한 좋은 예측을 내리는 것이 목표 인 경우 정규화 / 교차 유효성 검사가 얼마나 유용한 지 잘 알고 있습니다. 그러나 만약 당신이 전통적인 경제학을하고 있고 당신이 관심있는 모든 것을 추정하는 것이라면 ββ\beta? …

19 cross-validation  econometrics  model-selection  interpretation  regularization 

나는 (와 능선 회귀 사이의 연결 웹에서 읽기 어딘가를 가진 기억 ℓ2ℓ2\ell_2 와 PCA 회귀 정규화가) 사용하는 동안 ℓ2ℓ2\ell_2 hyperparameter의와 -regularized 회귀 분석을 λλ\lambda , 경우 λ→0λ→0\lambda \to 0 , 다음 회귀와 PC 변수를 제거하는 것과 같습니다 가장 작은 고유 값. 왜 이것이 사실입니까? 이것이 최적화 절차와 관련이 있습니까? 순진하게, …

19 regression  pca  regularization  ridge-regression 

페널티 를 갖는 선형 회귀 는 계수에 앞서 가우시안이 주어진 MAP 추정치를 찾는 것과 동일 하다는 것이 잘 알려져 있습니다. 마찬가지로, 사용 L 1 패널티 것은 종래와 같은 라플라스 분포를 사용하는 것과 동일하다.l2l2l^2l1l1l^1 및 l 2 정규화 의 일부 가중치 조합을 사용하는 것은 드문 일이 아닙니다 . 이것이 계수에 대한 …

17 regression  bayesian  regularization  prior  elastic-net 

드롭 아웃 을 설명 할 반 페이지가 있다면 어떻게 진행 하시겠습니까? 이 기술의 근거는 무엇입니까?

17 neural-networks  deep-learning  regularization  dropout 

주교의 책 "패턴 분류 및 기계 학습"에서 신경망의 맥락에서 정규화하는 기술을 설명합니다. 그러나 훈련 과정에서 모델의 복잡성과 함께 자유도가 증가한다는 단락을 이해하지 못합니다. 관련 인용문은 다음과 같습니다. 네트워크의 효과적인 복잡성을 제어하는 ​​방법으로 정규화의 대안은 조기 중지 절차입니다. 비선형 네트워크 모델의 학습은 일련의 학습 데이터와 관련하여 정의 된 오류 함수의 반복 …

17 machine-learning  neural-networks  regularization  degrees-of-freedom 

Robby McKilliam 은이 게시물 에 대한 코멘트에서 다음 과 같이 말합니다 . 잦은 주의자 관점에서 사전 지식을 모델에 통합 할 수없는 이유는 없다는 점을 지적해야합니다. 이런 점에서, 잦은 관점은 더 단순합니다. 모델과 데이터 만 있습니다. 사전 정보를 모델에서 분리 할 필요가 없습니다. 또한, 여기 , @jbowman는 베이 즈는이 이전 할 …

17 bayesian  prior  regularization  frequentist 

150 개의 기능이 있으며 그 중 많은 기능이 서로 밀접하게 관련되어 있습니다. 내 목표는 범위가 1-8 인 이산 변수의 값을 예측하는 것입니다 . 내 샘플 크기는 550 이고 10 배 교차 검증을 사용하고 있습니다. AFAIK는 정규화 방법 (Lasso, ElasticNet 및 Ridge) 중에서 Ridge가 기능 간의 상관 관계에보다 엄격합니다. 그래서 Ridge를 …

17 regression  lasso  regularization  ridge-regression  elastic-net 

데이터 세트 시작하여 올가미를 적용하고 솔루션 β L을 구하면 데이터 세트 ( X S , Y )에 올가미를 다시 적용 할 수 있습니다 . 여기서 S 는 0이 아닌 세트입니다. ''LLASO ''솔루션이라고 불리는 솔루션 β R L 을 얻기 위해 β L의 색인 (내가 틀렸다면 나를 교정하십시오!) 솔루션 β L …

16 regression  optimization  lasso  regularization  shrinkage 

올가미 또는 릿지 회귀에서는 종종 또는 α로 불리는 수축 매개 변수를 지정해야합니다 . 이 값은 종종 훈련 데이터에서 여러 가지 다른 값을 확인하고 테스트 데이터에서 어떤 R 2 가 가장 좋은지 확인함으로써 교차 검증을 통해 선택됩니다 . 확인해야 할 값의 범위는 무엇입니까? 그것은이다 ( 0 , 1 ) ?λλ\lambdaαα\alpha아르 자형2아르 …

16 regression  lasso  regularization  ridge-regression  penalized