«regularization» 태그된 질문

이 게시물은 다음과 같습니다. 왜 대각선에 상수를 추가하여 능선 추정치가 OLS보다 좋습니까? 내 질문은 다음과 같습니다. 내가 아는 한, 능선 정규화는 -norm (유클리드 거리)을 사용합니다. 그러나 왜 우리는이 표준의 제곱을 사용합니까? ( 직접 적용 하면 베타 합의 제곱근이 발생합니다).ℓ2ℓ2\ell_2ℓ2ℓ2\ell_2 비교 , 우리는 LASSO에 대해 이것을하지 않습니다. LASSO는 -norm을 사용 하여 …

12 lasso  regularization  ridge-regression 

나는 최근에 드문 드문 표현에 대한 많은 논문을 보았으며, 대부분은 규범을 사용하고 약간의 최소화를 수행합니다. 내 질문은 규범과 혼합 규범은 무엇입니까? 그리고 정규화와 어떤 관련이 있습니까?ℓpℓp\ell_pℓpℓp\ell_pℓp,qℓp,q\ell_{p, q} 감사

12 machine-learning  regularization  sparse 

Ian Goodfellow의 저서 Deep Learning 에서 읽은 내용이 있습니다. 신경망의 맥락에서, "L2 매개 변수 규범 페널티는 일반적으로 무게 감소로 알려져 있습니다.이 정규화 전략은 가중치를 원점에 더 가깝게 이동시킵니다. [...] 더 일반적으로, 매개 변수를 특정 지점에 가깝게 정규화 할 수 있습니다. 공간에서 "라고하지만 모델 매개 변수를 0으로 정규화하는 것이 훨씬 일반적입니다. …

11 machine-learning  neural-networks  deep-learning  regularization 

Ridge 또는 Lasso에서 정규화 매개 변수 람다를 선택할 때 권장되는 방법은 다른 람다 값을 시도하고 유효성 검사 세트에서 오류를 측정 한 다음 마지막으로 가장 낮은 오류를 반환하는 람다 값을 선택하는 것입니다. 함수 f (lambda) = error가 볼록한 경우 나에게 오지 않습니다. 이렇게 될 수 있을까요? 즉,이 곡선은 하나 이상의 지역 …

11 cross-validation  error  regularization  validation  optimization 

정규화 기술에서는 올가미, 능선 회귀, 탄성 그물 등을 말합니다. 입원 환자 체류 기간이 예측되는 인구 통계 학적 및 진단 데이터를 포함하는 건강 관리 데이터에 대한 예측 모델을 고려하십시오. 일부 개인의 경우, 기준 기간 동안 상관 된 다수의 LOS 관찰 (즉, 하나 이상의 IP 에피소드)이 존재한다. 예를 들어 각 개인에 대한 …

11 multiple-regression  random-effects-model  regularization 

닫은. 이 질문은 주제에 맞지 않습니다 . 현재 답변을받지 않습니다. 이 질문을 개선하고 싶습니까? 교차 검증에 대한 주제가 되도록 질문을 업데이트하십시오 . 작년에 문을 닫았 습니다 . 좌표 하강에 의한 선형 회귀에 대한 올가미 정규화 경로를 계산할 수있는 어떤 언어로 된 오픈 소스 구현이 있습니까? 지금까지 나는 알고 있습니다. glmnet …

11 regression  lasso  regularization 

LASSO 회귀에 대한 나의 이해는 최소화 문제를 해결하기 위해 회귀 계수가 선택된다는 것입니다. minβ∥y−Xβ∥22 s.t.∥β∥1≤tminβ‖y−Xβ‖22 s.t.‖β‖1≤t\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t 실제로 이것은 Lagrange multiplier를 사용하여 수행되므로 문제를 해결할 수 있습니다. 분β∥ y− Xβ∥22+ λ ∥ β∥1minβ‖y−Xβ‖22+λ‖β‖1\min_\beta \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 λλ\lambda 와 …

10 optimization  lasso  regularization  lagrange-multipliers 

여러 답변에서 CrossValidated 사용자는 OP가 Lasso, Ridge 및 Elastic Net에 대한 초기 논문을 제안한다고 제안했습니다. 후손을 위해 Lasso, Ridge 및 Elastic Net의 주요 작품은 무엇입니까?

10 references  lasso  regularization  ridge-regression  elastic-net 

I는 설계 행렬 있다면 여기서, 차원의 관찰의 수이고 , 풀면의 복잡성 무엇 LASSO, wrt 및 와 함께 ? 대답은 달리 느끼지 않는 한 반복 횟수 (수렴)가 어떻게 조정되는지가 아니라 하나의 LASSO 반복이 이러한 매개 변수로 스케일링 되는 방식을 참조해야한다고 생각합니다 . N 거라고 β = argmin β 1X∈Rn×dX∈Rn×dX\in\mathcal{R}^{n\times d}nnndddN의Dβ^=argminβ12n||Xβ−y||2+λ||β||1β^=argminβ12n||Xβ−y||2+λ||β||1\hat{\beta}=\text{argmin}_{\beta}\frac{1}{2n} ||X\beta-y||^{2} …

10 optimization  lasso  regularization  time-complexity 

나는 최근 올가미 (정규화)에 관한 몇 가지 통계 토론에 참석했으며 계속 올라가는 요점은 올가미가 왜 작동하는지 또는 왜 그렇게 잘 작동하는지 이해하지 못한다는 것입니다. 이 진술이 무엇을 말하는지 궁금합니다. 분명히 나는 ​​올가미가 매개 변수 축소로 과적 합을 방지하여 기술적으로 작동하는 이유를 이해하지만 그러한 진술 뒤에 더 깊은 의미가 있는지 궁금합니다. …

10 machine-learning  lasso  regularization 

제목에서 알 수 있듯이 라이브러리의 LBFGS 옵티 마이저를 사용하여 glmnet linear의 결과를 복제하려고합니다 lbfgs. 이 옵티마이 저는 목적 함수 (L1 정규화 용어가없는)가 볼록한 한, 미분에 대해 걱정할 필요없이 L1 정규화 용어를 추가 할 수 있습니다. 의 탄성 순 선형 회귀 문제 glmnet 용지가 주어진다 여기서 X \ in \ mathbb …

10 r  regression  regularization  glmnet  elastic-net 

(예를 들어, 압축 감지 분야에서) 규범이 기능을 최소화하면 (고정 행렬 및 벡터 ) 라는 의미에서 "희소성 유발" 이라는 것은 잘 알려져 있습니다 충분히 큼 \ lambda> 0 이면 A , \ vec {b} 및 \ lambda 중 많은 항목이 결과 \ vec {x} 에 정확히 0이 아닌 항목을 많이 가질 …

10 regression  matrix  normalization  regularization  sparse 

정규화를 수행하는 방법에는 , L 1 및 L 2 규범 기반 정규화 와 같은 많은 방법이 있습니다 . Friedman Hastie & Tibsharani 에 따르면 , 최고의 정규화 기는 문제, 즉 실제 목표 함수의 특성, 사용 된 특정 기준, 신호 대 잡음비 및 샘플 크기에 따라 달라집니다.엘0엘0L_0엘1엘1L_1엘2엘2L_2 다양한 정규화 방법의 방법과 …

10 r  regression  machine-learning  regularization 

에서 3 주 강의 노트 의 앤드류 응의 코 세라 기계 학습 클래스 , 용어는 정규화를 구현하는 비용 함수에 추가됩니다 J+(θ)=J(θ)+λ2m∑j=1nθ2jJ+(θ)=J(θ)+λ2m∑j=1nθj2J^+(\theta) = J(\theta) + \frac{\lambda}{2m} \sum_{j=1}^n \theta_j^2 강의 노트는 다음과 같이 말합니다. 모든 세타 매개 변수를 하나의 요약으로 정규화 할 수도 있습니다. m의 I엔θ 12 M [∑나는 = 1미디엄(hθ(엑스( 나는 …

10 regularization 

양방향 RNN을 사용하여 불균형 발생 이벤트를 감지합니다. 긍정적 클래스는 부정적인 클래스보다 100 배 적습니다. 정규화를 사용하지 않는 동안 기차 세트에서 100 % 정확도를 확인하고 유효성 검사 세트에서 30 %를 얻을 수 있습니다. 나는 l2 정규화를 켜고 결과는 학습 시간이 길지 않고 기차 세트에서 30 % 정확도이며 유효성 검사 세트에서 100 …

10 neural-networks  deep-learning  regularization  rnn