«ridge-regression» 태그된 질문

능선 회귀는 사전이 적절하게 선택된 경우 사후 분포의 평균으로 도출 될 수 있다고 들었습니다. 이전의 회귀 계수에 설정된 제약 (예 : 0 주위의 표준 정규 분포)이 동일하고 계수의 제곱 크기에 설정된 페널티를 대체한다는 직감이 있습니까? 이 동등성을 유지하려면 이전이 가우시안이어야합니까?

15 bayesian  prior  ridge-regression 

"통계학 학습의 요소"(2 판), p63에서 저자들은 능선 회귀 문제의 다음 두 가지 공식을 제시합니다. β^r 나는 d지이자형= 아르 기민β{ ∑나는 = 1엔( y나는− β0− ∑j = 1피엑스나는 jβ제이)2+ λ ∑j = 1피β2제이}β^아르 자형나는디지이자형=아르 민β{∑나는=1엔(와이나는−β0−∑제이=1피엑스나는제이β제이)2+λ∑제이=1피β제이2} \hat{\beta}^{ridge} = \underset{\beta}{\operatorname{argmin}} \left\{ \sum_{i=1}^N(y_i-\beta_0-\sum_{j=1}^p x_{ij} \beta_j)^2 + \lambda \sum_{j=1}^p \beta_j^2 \right\} 과 β^r 나는 d지이자형= …

15 ridge-regression 

통계 학습에서 가장 인기있는 책을 읽었습니다 1- 통계 학습의 요소. 2- 통계 학습 소개 . 둘 다 능선 회귀에는 동등한 두 가지 공식이 있다고 언급합니다. 이 결과에 대해 이해할만한 수학적 증거가 있습니까? 나는 또한 Cross Validated를 겪었 지만 거기에서 확실한 증거를 찾을 수 없습니다. 또한 LASSO는 동일한 유형의 증명을 누릴 …

15 regression  lasso  regularization  ridge-regression  lagrange-multipliers 

능선 회귀 분석을 실행할 때 최소 제곱 미만의 특정 계수보다 큰 계수를 어떻게 해석합니까 (특정 값의 경우 )? 능선 회귀는 단조 적으로 계수를 축소하도록되어 있지 않습니까?λλ\lambda 관련 메모에서, 능선 회귀 동안 부호가 변하는 계수를 어떻게 해석합니까 (예 : 능선 추적은 능선 추적 플롯에서 음에서 양으로 교차합니다)?

14 interpretation  regression-coefficients  ridge-regression 

릿지 회귀 분석에서 최소화 할 목적 함수는RSS+λ∑β2j.RSS+λ∑βj2.\text{RSS}+\lambda \sum\beta_j^2. Lagrange multiplier 방법을 사용하여이를 최적화 할 수 있습니까? 아니면 그것이 바로 차별화인가?

14 regression  regularization  ridge-regression 

저의 일반적인 이해는 AIC 가 모델의 적합도와 모델의 복잡성 간의 균형을 다루는 것입니다. I씨= 2 k - 2 l n ( L )ㅏ나는씨=2케이−2엘엔(엘)AIC =2k -2ln(L) 케이케이k = 모형의 매개 변수 수 엘엘L = 가능성 베이지안 정보 기준 BIC 는 AIC와 밀접한 관련이 있으며 AIC는 BIC보다 매개 변수 수를 덜 강하게합니다. …

14 cross-validation  lasso  aic  ridge-regression  bic 

능선 회귀에 대해 배우고 있으며 능선 회귀가 다중 공선 성이 존재할 때 더 잘 작동하는 경향이 있음을 알고 있습니다. 왜 이것이 사실인지 궁금합니다. 직관적 인 답변이나 수학적인 답변이 만족할 것입니다 (두 가지 유형의 답변 모두 더 만족할 것입니다). 또한, 나는 그 것을 알고 β가 항상 얻을 수 있지만, 얼마나 정확한 …

14 multicollinearity  ridge-regression 

능선 회귀 모델의 AICc를 계산하고 싶습니다. 문제는 매개 변수의 수입니다. 선형 회귀 분석의 경우 대부분의 사람들은 모수의 개수가 추정 계수의 수에 시그마 (오류의 분산)를 더한 값과 같다고 제안합니다. 능선 회귀에 관해서는 모자 행렬의 흔적-자유도 (df)가 단순히 AIC 수식의 매개 변수 수 (예 : here 또는 here ) 로 사용된다는 것을 …

13 regression  aic  ridge-regression  degrees-of-freedom 

R의 패키지 'lars'를 다음 코드와 함께 사용하고 있습니다. > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + rnorm(n) > x …

13 correlation  feature-selection  lasso  regularization  ridge-regression 

능선 회귀와 LASSO의 장단점에 대해 이미 알고 있습니다. LASSO의 경우, L1 페널티 항은 희소 계수 벡터를 생성하며, 이는 특징 선택 방법으로 볼 수 있습니다. 그러나 LASSO에는 몇 가지 제한 사항이 있습니다. 기능의 상관 관계가 높은 경우 LASSO는 그 중 하나만 선택합니다. 또한 > 인 문제의 경우 LASSO는 최대 매개 변수를 …

13 feature-selection  lasso  regularization  ridge-regression  elastic-net 

능선 회귀는 원래 데이터 행렬에 데이터 행을 추가하여 달성 할 수 있다는 것을 읽었습니다. 여기서 각 행은 종속 변수의 경우 0을 사용하고 독립 변수 의 경우 제곱근 또는 0을 사용하여 구성됩니다. 그런 다음 각 독립 변수마다 하나의 추가 행이 추가됩니다.kkk 로지스틱 회귀 또는 다른 GLM을 포함하여 모든 경우에 대한 증거를 …

12 logistic  generalized-linear-model  ridge-regression 

부정적 능선 회귀 에 대한 문헌을 찾고 있습니다. 간단히 말하면 추정기 공식에서 음수 를 사용한 선형 능선 회귀의 일반화입니다 .긍정적 인 경우에는 좋은 이론이 있습니다 : 손실 함수, 제약 조건, 베이 즈 이전과 같지만 위의 수식 만 있으면 부정적인 버전으로 잃어 버린 느낌이 듭니다. 내가하고있는 일에 유용하지만 명확하게 해석하지 못합니다.β …

12 regression  regularization  ridge-regression 

이 게시물은 다음과 같습니다. 왜 대각선에 상수를 추가하여 능선 추정치가 OLS보다 좋습니까? 내 질문은 다음과 같습니다. 내가 아는 한, 능선 정규화는 -norm (유클리드 거리)을 사용합니다. 그러나 왜 우리는이 표준의 제곱을 사용합니까? ( 직접 적용 하면 베타 합의 제곱근이 발생합니다).ℓ2ℓ2\ell_2ℓ2ℓ2\ell_2 비교 , 우리는 LASSO에 대해 이것을하지 않습니다. LASSO는 -norm을 사용 하여 …

12 lasso  regularization  ridge-regression 

참고 문헌에 따르면 1 권 , 2 권 과 종이 . 정규화 된 회귀 (Ridge, LASSO 및 Elastic Net)와 제약 조건 간에는 동등한 내용이 언급되어 있습니다. Cross Validated 1 및 Cross Validated 2 도 살펴 보았지만 그 동등성 또는 논리에 대한 명확한 답변을 볼 수는 없습니다. 내 질문은 Karush–Kuhn–Tucker (KKT)를 …

11 regression  optimization  lasso  ridge-regression  elastic-net 

Lasso와 Ridge를 모두 사용하여 회귀 모델을 실행 중입니다 (0-5 범위의 이산 결과 변수 예측). 모델을 실행하기 전에 기능 세트를 250 에서 25 로 줄이는 SelectKBest방법을 사용 합니다. 초기 피처를 선택하지 않으면 Lasso와 Ridge는 정확도 점수가 낮아집니다 (샘플 크기가 작은 600 일 수 있음). 또한 일부 기능은 서로 관련되어 있습니다.scikit-learn 모델을 …

11 regression  predictive-models  feature-selection  lasso  ridge-regression