능선 회귀에서의“행렬 반전의 수치 적 안정성”과 과적 합 감소에 대한 역할에 대한 설명
최소 회귀 문제에서 정규화를 사용할 수 있음을 이해합니다. w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right] 이 문제에는 다음과 같은 폐쇄 형 솔루션이 있습니다. w^=(XTX+λI)−1XTy.w^=(XTX+λI)−1XTy.\hat{\boldsymbol{w}} = (\boldsymbol{X}^T\boldsymbol{X}+\lambda\boldsymbol{I})^{-1}\boldsymbol{X}^T\boldsymbol{y}. 두 번째 방정식에서 정규화는 단순히 λλ\lambda 를 \ boldsymbol {X} ^ T \ boldsymbol {X} 의 대각선에 추가 XTXXTX\boldsymbol{X}^T\boldsymbol{X}하는 것입니다. 이는 행렬 …