R-올가미 회귀-회귀마다 다른 람다

나는 다음을하고 싶다 :

1) 베타 계수를 얻기위한 OLS 회귀 (벌칙 없음) $b_{j}^{*}$ ; $j$ 는 회귀에 사용되는 변수를 나타냅니다. 나는 이것을한다

lm.model = lm(y~ 0 + x)
betas    = coefficients(lm.model)

2) 벌칙 용어를 사용한 올가미 회귀 선택 기준은 다음과 같이 주어진 베이지안 정보 기준 (BIC)이어야합니다.

$$\lambda _{j} = \frac{\log (T)}{T|b_{j}^{*}|}$$

여기서 $j$ 는 변수 / 회귀 자 수, $T$ 는 관측치 수, $b_{j}^{*}$ 는 1) 단계에서 얻은 초기 베타를 나타냅니다. 이 특정 $\lambda_j$ 값에 대한 회귀 결과를 원합니다.이 값은 사용 된 회귀 변수마다 다릅니다. 따라서 세 개의 변수가 있으면 세 개의 다른 값 $\lambda_j$ 있습니다.

OLS- 올가미 최적화 문제는 다음과 같습니다.

$$\underset{b\epsilon \mathbb{R}^{n} }{min} = \left \{ \sum_{t=1}^{T}(y_{t}-b^{\top} X_{t} )^{2} + T\sum_{j=1}^{m} ( \lambda_{t}|b_{j}| )\right \}$$

lars 또는 glmnet 패키지로 R에서 어떻게 할 수 있습니까? 람다를 지정하는 방법을 찾을 수 없으며 실행하면 올바른 결과를 얻을 수 있는지 확실하지 않습니다.

lars.model <- lars(x,y,type = "lasso", intercept = FALSE)
predict.lars(lars.model, type="coefficients", mode="lambda")

도움을 주셔서 감사합니다.

---

최신 정보:

지금 다음 코드를 사용했습니다.

fits.cv = cv.glmnet(x,y,type="mse",penalty.factor = pnlty)
lmin    = as.numeric(fits.cv[9]) #lambda.min
fits    = glmnet(x,y, alpha=1, intercept=FALSE, penalty.factor = pnlty)
coef    = coef(fits, s = lmin)

1 행에서 지정된 페널티 팩터 ( λ j = log ( T )로 교차 검증을 사용합니다.), 각 회귀 변수마다 다릅니다. 2 행은 최소 평균 교차 검증 오류를 제공하는 람다 인 fits.cv의 "lambda.min"을 선택합니다. 3 행은 데이터에대해 올가미 맞춤 ()을 수행합니다. 다시 페널티 팩터λ를사용했습니다. 4행은 2 행에서 선택한"최적"λ에속하는 피팅에서 계수를 추출합니다.$\lambda _{j} = \frac{\log (T)}{T|b_{j}^{*}|}$alpha=1$\lambda$$\lambda$

이제 최소화 문제의 최적 솔루션을 나타내는 회귀 변수에 대한 베타 계수가 있습니다.

$$\underset{b\epsilon \mathbb{R}^{n} }{min} = \left \{ \sum_{t=1}^{T}(y_{t}-b^{\top} X_{t} )^{2} + T\sum_{j=1}^{m} ( \lambda_{t}|b_{j}| )\right \}$$

$\lambda _{j} = \frac{\log (T)}{T|b_{j}^{*}|}$

내 이해와 코드가 정확합니까?

로부터 glmnet문서 ( ?glmnet), 우리는 차등 수축을 행할 수있다 것을 알 수있다. 이를 통해 OP의 질문에 적어도 부분적으로 답할 수 있습니다.

penalty.factor: 각 계수에 별도의 페널티 계수를 적용 할 수 있습니다. 이것은 lambda차등 수축을 허용하기 위해 곱하는 숫자입니다 . 일부 변수의 경우 0이 될 수 있으며 축소를 의미하지 않으며 해당 변수는 항상 모델에 포함됩니다. 모든 변수에 대해 기본값은 1이며에 나열된 변수에 대해서는 암시 적으로 무한대입니다 exclude. 참고 : 페널티 요인은 내부에 합계 배율을 조정하고있다 nvars, 그리고 lambda순서가 이러한 변화를 반영합니다.

그러나 질문에 완전히 대답하기 위해 달성하려는 목표에 따라 두 가지 방법이 있습니다.

1. glmnet$\lambda$penalty.factor$\lambda$$b_j$$\phi_j= \frac{\log T}{T|b_j^*|}$$\phi_j$$b_j$penalty.factor$C\phi_j=\phi^\prime_j$$m=C\sum_{j=1}^m \frac{\log T}{T|b^*_j|}$$\phi_j^\prime$$\phi_j$$C$$\phi_j^\prime$glmnet$\lambda=1$coef(model, s=1, exact=T)

2. glmnet$k$$\lambda$$\lambda=0$$b$$\lambda$$\lambda$

glmnet$\lambda$$\lambda$coef(fits,s=something)$\lambda$something$\lambda$

$\lambda$cv.glmnetglmnetpenalty.factor

이 절차는 최적화

$$\underset{b\in \mathbb{R}^{m} }{\min} \sum_{t=1}^{T}(y_{t}-b^{\top} X_{t} )^{2} + \lambda \sum_{j=1}^{m} ( \phi_{j}|b_{j}| )$$

여기서 는 기능 ( 인수 에서 제공 한 것)에 대한 페널티 팩터입니다 . (이것은 최적화 표현식과 약간 다릅니다. 아래 첨자 중 일부는 다릅니다.) 용어는 모든 기능에서 동일하므로 일부 기능이 다른 기능보다 많이 줄어드는 유일한 방법은 입니다. 중요한 것은 와 는 동일하지 않습니다. 는 스칼라이고 는 벡터입니다! 이 표현에서 는 고정 / 가정 된 것으로 알려져 있습니다. 즉, 최적화는 최적의 아닌 최적의 를 선택합니다.j t h λ ϕ j λ ϕ λ ϕ λ b $\phi_j$$j^{th}$penalty.factor$\lambda$$\phi_j$$\lambda$$\phi$$\lambda$$\phi$$\lambda$$b$$\lambda$.

이것은 기본적 glmnet으로 내가 이해 한 동기에 따른 것입니다. 불완전한 회귀 분석을 사용하여 표본 외 성능에 대해 지나치게 낙관적이지 않은 회귀 모델을 추정하는 것입니다. 이것이 당신의 목표라면, 아마도 이것이 당신에게 맞는 방법 일 것입니다.