자유도 및 입력 행렬이 지정된 능선 회귀 분석에서 정규화 매개 변수를 계산하는 방법은 무엇입니까?

A 는 독립 변수의 행렬이고 B 는 종속 값 의 해당 행렬입니다. 릿지 회귀에서는 파라미터 정의 되도록 : . 이제 [usv] = svd (A)와 대각선으로 's'를 입력하십시오. 자유도 (df) = 합니다. 릿지 회귀 저 분산 성분의 계수, 따라서 파라미터 수축 위한 컨트롤 freedom.So의도$n \times p$λ β = ( A T A + λ I ) − 1 A T B d i = i t h ∑ n i = 1 ( d i ) $n \times 1$$\lambda$$\beta=(A^\mathrm{T}A+\lambda I)^{-1}A^\mathrm{T}B$$d_{i}=i^{th}$ λλ=0$\sum_{i=1}^{n} \frac{(d_{i})^2}{(d_{i})^2+\lambda}$$\lambda$$\lambda=0$이는 정상적인 회귀의 경우 df = n이므로 모든 독립 변수가 고려됩니다. 내가 겪고있는 문제는 'df'와 행렬 's'가 주어진 의 값을 찾는 것 입니다. 위의 방정식을 다시 정렬하려고했지만 닫힌 양식 솔루션을 얻지 못했습니다. 유용한 정보를 제공해주십시오.$\lambda$

Newton-Raphson / Fisher-scoring / Taylor 시리즈 알고리즘이 이에 적합합니다.

넌 해결하기 식을위한 으로 유도체 그러면 다음과 같이 얻을 수 있습니다 : h ( λ ) = p ∑ i = 1 d 2 $\lambda$

$$h(\lambda)=\sum_{i=1}^{p}\frac{d_{i}^{2}}{d_{i}^{2}+\lambda}-df=0$$ $$\frac{\partial h}{\partial \lambda}=-\sum_{i=1}^{p}\frac{d_{i}^{2}}{(d_{i}^{2}+\lambda)^{2}}$$ $$h(\lambda)\approx h(\lambda^{(0)})+(\lambda-\lambda^{(0)})\frac{\partial h}{\partial \lambda}|_{\lambda=\lambda^{(0)}}=0$$

를 다시 정렬 하면 반복 검색을 설정합니다. 초기 시작 값의 경우 합계에서 이라고 가정 하면 를 얻습니다 .$\lambda$

$$\lambda=\lambda^{(0)}-\left[\frac{\partial h}{\partial \lambda}|_{\lambda=\lambda^{(0)}}\right]^{-1}h(\lambda^{(0)})$$ $d^{2}_{i}=1$$\lambda^{(0)}=\frac{p-df}{df}$

$$\lambda^{(j+1)}=\lambda^{(j)}+\left[\sum_{i=1}^{p}\frac{d_{i}^{2}}{(d_{i}^{2}+\lambda^{(j)})^{2}}\right]^{-1}\left[\sum_{i=1}^{p}\frac{d_{i}^{2}}{d_{i}^{2}+\lambda^{(j)}}-df\right]$$

이것은 올바른 방향 ( 합산이 너무 크면 늘리고 너무 작 으면 줄임) 으로 "가고" 일반적으로 해결하기 위해 몇 번의 반복 만 필요합니다. 또한 함수는 단조 적입니다 ( 의 증가 / 감소 는 항상 합을 감소 / 증가시킵니다). 따라서 고유하게 수렴합니다 (로컬 최대 값 없음).$\lambda$$\lambda$

다음은 chanceislogic에 의해 입증 된 공식을 기반으로하는 작은 Matlab 코드입니다.

function [lamda] = calculate_labda(Xnormalised,df)
    [n,p] = size(Xnormalised);   

    %Finding SVD of data
    [u s v]=svd(Xnormalised);
    Di=diag(s);
    Dsq=Di.^2;

    %Newton-rapson method to solve for lamda
    lamdaPrev=(p-df)/df;
    lamdaCur=Inf;%random large value
    diff=lamdaCur-lamdaPrev;   
    threshold=eps(class(XstdArray));    
    while (diff>threshold)          
        numerator=(sum(Dsq ./ (Dsq+lamdaPrev))-df);        
        denominator=sum(Dsq./((Dsq+lamdaPrev).^2));        
        lamdaCur=lamdaPrev+(numerator/denominator);        
        diff=lamdaCur-lamdaPrev;        
        lamdaPrev=lamdaCur;        
    end
    lamda=lamdaCur;
end