«ridge-regression» 태그된 질문

I 두 추정기 있다고 가정 과 같은 파라미터의 일관성 추정기 것을 그러한 저 와 의 PSD 감각. 따라서 은 보다 효율적 입니다. 이 두 추정기는 서로 다른 손실 함수를 기반으로합니다. β 2β0√βˆ1β^1\widehat{\beta}_1βˆ2β^2\widehat{\beta}_2β0β0\beta_0V1≤V2 β 1 β 2엔−−√( βˆ1− β0) →디엔( 0 , V1) ,엔−−√( βˆ2− β0) →디엔( 0 , V2)n(β^1−β0)→dN(0,V1),n(β^2−β0)→dN(0,V2)\sqrt{n}(\widehat{\beta}_1 -\beta_0) …

11 regression  ridge-regression  shrinkage  penalized 

나는 최고의 변수 사용했다 R. I에서 능선 회귀를 사용하여 회귀 모델의 솔루션을 찾기 위해 일부 데이터를 적용 lm.ridge하고 glmnet(언제 alpha=0),하지만 결과는 특히 매우 다르다 lambda=0. 두 모수 추정값이 동일한 값을 가지고 있다고 가정합니다. 그래서, 여기서 무엇이 문제입니까? 친애하는

11 r  regression  ridge-regression  glmnet 

통계 학습의 요소 (Hastie, Tibshrani & Friedman) 3 장을 읽은 후 공분산 구조를 고려하여이 질문의 제목에 인용 된 유명한 축소 방법을 구현할 수 있는지 궁금했습니다. ) 수량 ( y⃗ − Xβ⃗ )티V− 1( y⃗ − Xβ⃗ ) + λ f( β) , ( 1 ) (y→−Xβ→)TV−1(y→−Xβ→)+λf(β), (1)(\vec{y}-X\vec{\beta})^TV^{-1}(\vec{y}-X\vec{\beta})+\lambda f(\beta),\ \ \ …

11 lasso  ridge-regression 

A 는 독립 변수의 행렬이고 B 는 종속 값 의 해당 행렬입니다. 릿지 회귀에서는 파라미터 정의 되도록 : . 이제 [usv] = svd (A)와 대각선으로 's'를 입력하십시오. 자유도 (df) = 합니다. 릿지 회귀 저 분산 성분의 계수, 따라서 파라미터 수축 위한 컨트롤 freedom.So의도n×pn×pn \times pλ β = ( A T …

11 ridge-regression 

능선 및 올가미 회귀에 대한 기능을 표준화하는 것이 일반적인 관행임을 알고 있지만 이러한 회귀 분석법에 대한 z- 점수 표준화의 대안으로 (0,1) 척도에서 피쳐를 정규화하는 것이 더 실용적입니까?

11 normalization  lasso  standardization  ridge-regression 

릿지 회귀는 여기서 는 예측 된 레이블입니다. , , 매트릭스를 식별 우리가 레이블을 찾기 위해 노력하고있는 객체와 의 매트릭스 객체 :y^=(X′X+aId)−1Xxy^=(X′X+aId)−1Xx\hat{y} = (\mathbf{X'X} + a\mathbf{I}_d)^{-1}\mathbf{X}xy^y^\hat{y}IdId\mathbf{I}_dd×dd×dd \times dxx\mathbf{x}XX\mathbf{X}n×dn×dn \times dnnnxi=(xi,1,...,xi,d)∈Rdxi=(xi,1,...,xi,d)∈Rd\mathbf{x}_i = (x_{i,1}, ..., x_{i,d})\in \mathbb{R}^d X=⎛⎝⎜⎜⎜⎜⎜x1,1x2,1⋮xn,1x1,2x2,2⋮x1,2……⋱…x1,dx2,d⋮xn,d⎞⎠⎟⎟⎟⎟⎟X=(x1,1x1,2…x1,dx2,1x2,2…x2,d⋮⋮⋱⋮xn,1x1,2…xn,d) \mathbf{X} = \begin{pmatrix} x_{1,1} & x_{1,2} & \ldots & x_{1,d}\\ x_{2,1} & x_{2,2} & \ldots …

11 regression  ridge-regression  kernel-trick 

여러 답변에서 CrossValidated 사용자는 OP가 Lasso, Ridge 및 Elastic Net에 대한 초기 논문을 제안한다고 제안했습니다. 후손을 위해 Lasso, Ridge 및 Elastic Net의 주요 작품은 무엇입니까?

10 references  lasso  regularization  ridge-regression  elastic-net 

능선 회귀에 대한 설명을 Applied Linear Statistical Models , 5th Ed 11 장 에서 읽었습니다 . 능선 회귀는 여기에서 사용할 수있는 체지방 데이터에 대해 수행 됩니다 . 다음 교재이면 변환 된 계수는 다음과 같이 피팅 모델에 주어진다 SAS에서 출력 일치 Y=−7.3978+0.5553X1+0.3681X2−0.1917X3Y=−7.3978+0.5553X1+0.3681X2−0.1917X3 Y=-7.3978+0.5553X_1+0.3681X_2-0.1917X_3 이것은 SAS에서 다음과 같이 표시됩니다. proc reg data …

10 r  sas  ridge-regression 

음이 아닌 능선 회귀를 수행하는 방법? 음수가 아닌 올가미는에서 사용할 수 scikit-learn있지만, 능선의 경우 베타의 음수가 아닌 것을 시행 할 수 없으며 실제로 음의 계수를 얻습니다. 이것이 왜 그런지 아는 사람이 있습니까? 또한 규칙적인 최소 제곱으로 릿지를 구현할 수 있습니까? 이것을 다른 질문으로 옮겼습니다. OLS 회귀 측면에서 능선 회귀를 구현할 …

10 regression  lasso  regularization  ridge-regression 

최소 회귀 문제에서 정규화를 사용할 수 있음을 이해합니다. w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw⁡[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right] 이 문제에는 다음과 같은 폐쇄 형 솔루션이 있습니다. w^=(XTX+λI)−1XTy.w^=(XTX+λI)−1XTy.\hat{\boldsymbol{w}} = (\boldsymbol{X}^T\boldsymbol{X}+\lambda\boldsymbol{I})^{-1}\boldsymbol{X}^T\boldsymbol{y}. 두 번째 방정식에서 정규화는 단순히 λλ\lambda 를 \ boldsymbol {X} ^ T \ boldsymbol {X} 의 대각선에 추가 XTXXTX\boldsymbol{X}^T\boldsymbol{X}하는 것입니다. 이는 행렬 …

10 regression  regularization  ridge-regression  overfitting  matrix-inverse 

200 과목과 1000 변수로 내 데이터 예측의 교차 유효성 검사를 진행하고 있습니다. 변수 수 (사용하고 싶습니다)가 샘플 수보다 많기 때문에 능선 회귀에 관심이 있습니다. 그래서 수축 견적 도구를 사용하고 싶습니다. 다음은 예제 데이터로 구성됩니다. #random population of 200 subjects with 1000 variables M <- matrix(rep(0,200*100),200,1000) for (i in 1:200) { …

9 r  cross-validation  prediction  ridge-regression 

환자의 나이 (년 단위로 측정 된 정수 수량)가 예측 변수 중 하나 인 예측 비용 모델을 작성 중입니다. 연령과 입원 위험 사이의 강력한 비선형 관계가 분명합니다. 환자 연령에 대한 처벌 회귀 스무딩 스플라인을 고려하고 있습니다. 에 따르면 통계 학습의 요소 (Hastie 등, 2009, 151), 최적의 매듭 배치는 회원 시대의 고유 …

9 nonlinear-regression  lasso  ridge-regression  smoothing  splines 

하면 구형 제한을 부과 최소 제곱 문제 값에 같이 쓸 수있다 과대 결정된 시스템. \ | \ cdot \ | _2 는 벡터의 유클리드 표준입니다.y=Xβ+ey=Xβ+ey = X\beta + eδδ\deltaββ\betamin ∥y−Xβ∥22s.t. ∥β∥22≤δ2min⁡ ‖y−Xβ‖22s.t.⁡ ‖β‖22≤δ2\begin{equation} \begin{array} &\operatorname{min}\ \| y - X\beta \|^2_2 \\ \operatorname{s.t.}\ \ \|\beta\|^2_2 \le \delta^2 \end{array} \end{equation}∥⋅∥2‖⋅‖2\|\cdot\|_2 \ beta에 …

9 regression  least-squares  regularization  ridge-regression  underdetermined 

능선 회귀가 처음입니다. 선형 융기 회귀를 적용하면 다음과 같은 결과가 나타납니다. >myridge = lm.ridge(y ~ ma + sa + lka + cb + ltb , temp, lamda = seq(0,0.1,0.001)) > select(myridge) modified HKB estimator is 0.5010689 modified L-W estimator is 0.3718668 smallest value of GCV at 0 질문 : 0을 …

9 ridge-regression