Tikhonov 정규화는 Ridge Regression과 동일합니까?

Tikhonov 정규화와 능선 회귀는 종종 같은 것처럼 사용되는 용어입니다. 차이점이 무엇인지 정확하게 지정할 수 있습니까?

Tikhonov 정규화는 능선 회귀보다 더 큽니다. 여기 그들이 어떻게 다른지 정확히 설명하려고 시도했습니다.

알려진 행렬 와 벡터 에 대해 과 같이 벡터 를 찾고 싶다고 가정합니다 .B $A$$b$$\mathbf{x}$

$A\mathbf{x}=\mathbf{b}$ 입니다.

표준 접근법은 보통 최소 제곱 선형 회귀입니다. 그러나, 가 방정식을 만족 하지 않거나 하나 이상의 가 (즉, 해가 독특하지 않은 경우) 문제가 발생한다고합니다. 보통 최소 제곱은 다음과 같이 간단히 쓸 수있는 제곱 잔차의 합을 최소화하려고합니다.$x$$x$

$\|A\mathbf{x}-\mathbf{b}\|^2$

여기서 $\left \| \cdot \right \|$유클리드 표준입니다. 행렬 표기법에서 \ hat {x} 로 표시된 솔루션 $\hat{x}$은 다음과 같이 제공됩니다.

$\hat{x} = (A^{T}A)^{-1}A^{T}\mathbf{b}$

Tikhonov 정규화 최소화

$\|A\mathbf{x}-\mathbf{b}\|^2+ \|\Gamma \mathbf{x}\|^2$

적절하게 선택된 Tikhonov 매트릭스 . 로 표시된 명시 적 매트릭스 양식 솔루션 은 다음과 같습니다.$\Gamma$$\hat{x}$

$\hat{x} = (A^{T}A+ \Gamma^{T} \Gamma )^{-1}A^{T}{b}$

정규화의 효과는 matrix 의 스케일을 통해 달라질 수 있습니다 . 들면 이 (A 것을 제공 unregularized 최소 제곱 해를 줄 ^T A)가 ^-1 이 존재한다.Γ = $\Gamma$$\Gamma = 0$

일반적 용 리지 회귀 , 노프의 정규화 두 출발 설명한다. 먼저 Tikhonov 매트릭스는 여러 개의 ID 매트릭스로 대체됩니다.

$\Gamma= \alpha I$ ,

더 작은 규범, 즉 규범을 가진 솔루션을 선호합니다 . 그런 다음 는 됩니다.Γ T Γ α 2$L_2$$\Gamma^{T} \Gamma$$\alpha^2 I$

$\hat{x} = (A^{T}A+ \alpha^2 I )^{-1}A^{T}{b}$

마지막으로, 능형 회귀 분석의 경우 일반적으로 가 상관 행렬 형식을 갖도록 변수의 크기가 조정 된다고 가정합니다 . 및 사이의 상관 벡터 인 변수 선도X T X X T b x $A$$X^{T}X$$X^{T}b$$x$$b$

$\hat{x} = (X^{T}X+ \alpha^2 I )^{-1}X^{T}{b}$

이 형식에서 Lagrange multiplier 는 일반적으로 , 또는 다른 기호 로 대체 되지만 속성은 유지합니다 k λ λ ≥ $\alpha^2$$k$$\lambda$$\lambda\geq0$

이 답변을 공식화하면서, 나는 Wikipedia 와 전달 함수 가중치의 Ridge 추정 에서 자유롭게 빌리는 것을 인정 합니다.

Carl은 Tikhonov 정규화와 능선 회귀의 수학적 차이점을 잘 설명하는 철저한 대답을했습니다. 여기서 역사적인 토론 에서 영감을 받아 보다 일반적인 Tikhonov 프레임 워크가 어떻게 유용한 지 보여주는 간단한 예를 추가하는 것이 도움이 될 것이라고 생각했습니다.

먼저 문맥에 대한 간단한 메모입니다. 릿지 회귀 는 통계에서 발생했으며, 정규화 는 통계 및 기계 학습에서 널리 퍼져 있지만 Tikhonov의 접근 방식은 원래 모델 기반 데이터 동화 (특히 지구 물리학 ) 에서 발생하는 역 문제로 인해 동기가 부여되었습니다 . 아래의 단순화 된 예는이 범주에 있습니다 ( 고 아기 재구성에 더 복잡한 버전이 사용됨 ).

---

현재의 측정 값 기초하여 과거에 온도 을 재구성하고 싶다고 상상해보십시오 . 단순화 된 모델에서 우리는 온도 가 주기적 경계 조건 로 1D에서 열 방정식 에 따라 진화한다고 가정합니다 . 단순 (명시 적) 유한 차분 접근법 이산 모델 수학적으로, 진화 행렬 는 돌이킬 수 없으므로 그러나 수치 적으로u [ x , t = T $u[x,t=0]$$u[x,t=T]$ u [ x + L , t ] = u [ x , t ] Δ

$$u_t = u_{xx}$$ $$u[x+L,t] = u[x,t]$$ A u t = A − 1 u t + 1 $$\frac{\Delta\mathbf{u}}{\Delta{t}} = \frac{\mathbf{Lu}}{\Delta{x^2}} \implies \mathbf{u}_{t+1} = \mathbf{Au}_t$$ $\mathbf{A}$ $$\mathbf{u}_t = \mathbf{A^{-1}u}_{t+1}$$ 시간 간격 ( 이 너무 길면 어려움이 발생한다 .$T$

Tikhonov 정규화는 해결하여이 문제를 해결할 수 있습니다. 거칠기 에 작은 패널티 를 추가합니다 . ω2≪

$$\begin{align} \mathbf{Au}_t &\approx \mathbf{u}_{t+1} \\ \omega\mathbf{Lu}_t &\approx \mathbf{0} \end{align}$$ $\omega^2\ll{1}$$u_{xx}$

아래는 결과를 비교 한 것입니다.

우리는 원래 온도 가 부드러운 프로파일을 가지고 있음을 알 수 있습니다 . 이것은 를 제공하기 위해 확산에 의해 더욱 부드럽게 됩니다. 직접 반전은 을 복구하지 못하고 솔루션 는 강력한 "체커 보드" 아티팩트를 표시합니다. 그러나 Tikhonov 솔루션 는 아주 좋은 정확도로 을 복구 할 수 있습니다.U를 F w D U 0 U I N V U R E $u_0$$u_\mathsf{fwd}$$u_0$$u_\mathsf{inv}$$u_\mathsf{reg}$$u_0$

이 예에서, 융기 회귀는 항상 우리의 솔루션을 "얼음 나이"(즉, 균일 한 영점 온도)로 향하게합니다. 티호 노프의 회귀는 우리에게 더 유연 할 수 있습니다 물리적 기반의 이전 제약 조건을 : 여기에 우리의 처벌은 본질적으로 재구성 말한다 진화 천천히해야한다, 즉 .u t ≈ $\mathbf{u}$$u_t\approx{0}$

---

예제의 Matlab 코드는 다음과 같습니다 ( 여기 에서 온라인으로 실행할 수 있음 ).

% Tikhonov Regularization Example: Inverse Heat Equation
n=15; t=2e1; w=1e-2; % grid size, # time steps, regularization
L=toeplitz(sparse([-2,1,zeros(1,n-3),1]/2)); % laplacian (periodic BCs)
A=(speye(n)+L)^t; % forward operator (diffusion)
x=(0:n-1)'; u0=sin(2*pi*x/n); % initial condition (periodic & smooth)
ufwd=A*u0; % forward model
uinv=A\ufwd; % inverse model
ureg=[A;w*L]\[ufwd;zeros(n,1)]; % regularized inverse
plot(x,u0,'k.-',x,ufwd,'k:',x,uinv,'r.:',x,ureg,'ro');
set(legend('u_0','u_{fwd}','u_{inv}','u_{reg}'),'box','off');