제한된 입방 스플라인과 페널티 스플라인은 어떻게 다릅니 까?

다양한 회귀 문제에서 스플라인 사용에 대해 많이 읽고 있습니다. 일부 책 (예 : Hodges Richly Parrameterized Linear Models )은 불이익 스플라인을 권장합니다. 다른 사람 (예 : Harrell Regression Modeling Strategies )은 제한된 입방 스플라인을 선택합니다.

실제로 이것들은 얼마나 다른가? 하나 또는 다른 것을 사용하여 종종 실질적으로 다른 결과를 얻습니까? 하나 또는 다른 하나에 특별한 장점이 있습니까?

regression splines

— 피터 플 로움
소스

내 독서에서, 당신이 우리에게 비교하도록 요청하는 두 가지 개념은 상당히 다른 짐승이며 사과와 오렌지와 같은 비교가 필요합니다. 이로 인해 많은 질문이 다소 무질서하게됩니다. 이상적으로는 (필수 양식에서 RCS 기준으로 위태로운 페널티를 작성할 수 있다고 가정 할 경우) 처벌 된 제한 입방 회귀 스플라인 모델을 사용합니다.

제한된 입방 스플라인

제한된 입방 스플라인 (또는 자연 스플라인)은 미리 지정된 일부 위치 또는 매듭에서 매끄럽게 결합하는 조각 별 입방 다항식 함수로 구성된 스플라인 기준입니다. 제한된 입방 스플라인과 입방 스플라인을 구별하는 것은 스플라인이 첫 번째 매듭 이전과 마지막 매듭 이후에 선형이되도록 제한된 버전에 추가 구속 조건이 부과된다는 것입니다. 이것은 의 꼬리에서 스플라인의 성능을 향상시키기 위해 수행됩니다 . $X$

RCS를 사용한 모델 선택에는 일반적으로 매듭 수와 위치를 선택하는 것이 포함되며, 전자는 결과 스플라인의 흔들림 또는 복잡성을 제어합니다. 모형 피팅시 추정 계수를 정규화하기위한 몇 가지 추가 단계가 없다면, 매듭의 수는 스플라인 복잡성을 직접 제어합니다.

이는 하나 이상의 RCS 항을 포함하는 모델을 추정 할 때 사용자가 극복해야 할 몇 가지 문제가 있음을 의미합니다.

사용할 매듭은 몇 개입니까?,
의 범위에서 해당 매듭을 어디에 배치 합니까? $X$
다른 매듭 수의 모델을 비교하는 방법은 무엇입니까?

RCS 용어 자체는 이러한 문제를 해결하기 위해 사용자 개입이 필요합니다.

페널티 스플라인

자신의 태클 문제 3에 대해서만 처벌 회귀 스플라인 (sensu Hodges)이 있지만 문제 1 을 우회 할 수 있습니다. 여기서의 아이디어는 의 기본 확장뿐만 아니라 지금이 큐빅 스플라인 기반이라고 가정하고 위 글링 페널티 매트릭스를 만듭니다. 흔들림은 추정 된 스플라인의 일부 도함수를 사용하여 측정되며, 전형적인 도함수는 2 차 도함수이며, 페널티 자체는 범위에 걸쳐 제곱 된 2 차 도함수를 나타냅니다 . 이 형벌은 다음과 같이 2 차 형식으로 작성 될 수 있습니다. $X$ $X$

β^{T} S β

$\boldsymbol{\beta}^{\mathsf{T}} \boldsymbol{S} \boldsymbol{\beta}$

여기서 는 페널티 매트릭스이고 는 모델 계수입니다. 그런 다음 계수 된 로그 가능성을 최대화하기 위해 계수 값을 찾습니다. ceriterion $\boldsymbol{S}$ $\boldsymbol{\beta}$ $\mathcal{L}_p$

L_{p} = L - λ β^{T} S β

$\mathcal{L}_p = \mathcal{L} - \lambda \boldsymbol{\beta}^{\mathsf{T}} \boldsymbol{S} \boldsymbol{\beta}$

여기서 은 모형의 로그 우도이고 는 스무딩 매개 변수이며 스플라인의 휘파람을 얼마나 강하게 처벌 할 것인지를 제어합니다. $\mathcal{L}$ $\lambda$

페널티 로그 우도가이 모델을 피팅 모델 계수의 관점에서 평가할 수있다 효과적으로 대한 최적 값을 찾는데 문제가된다 그 최적의 검색시의 계수를 갱신하는 동안 . $\lambda$ $\lambda$

$\lambda$ 는 교차 검증, 일반 교차 검증 (GCV) 또는 한계 우도 또는 제한된 한계 우도 기준을 사용하여 선택할 수 있습니다. 후자의 두 모델은 스플라인 모델을 혼합 효과 모델로 효과적으로 재구성합니다 (완전히 매끄러운 부분은 고정 된 효과가되고 흔들리는 부분은 임의의 효과이며 매끄러움 매개 변수는 무작위 효과의 분산 항과 반비례합니다) ), 그것은 Hodges가 그의 책에서 고려하고있는 것입니다.

이것이 왜 몇 개의 매듭을 사용해야하는 문제를 해결합니까? 글쎄, 그것은 단지 종류의 않습니다. 이렇게하면 모든 고유 한 데이터 포인트 (매끄러운 스플라인)에 매듭이 필요하지 않은 문제가 해결되지만 사용할 매듭 또는 기본 함수 수를 선택해야합니다. 그러나 페널티로 인해 계수가 줄어들 기 때문에 실제 함수 또는 근사값을 포함하는 데 필요한 기본 크기를 선택하면 얻을 수있는 계수가 줄어들 기 때문에 페널티로 인해 추정 된 스플라인의 최종 흔들림 정도를 제어 할 수 있습니다. 페널티에 의해 제거되거나 통제되는 근거로 이용 가능한 추가 흔들림이 있습니다.

비교

불이익 (회귀) 스플라인과 RCS는 매우 다른 개념입니다. RCS 기준과 2 차 형태의 관련 페널티를 생성 한 다음 불이익을받은 회귀 스플라인 모델의 아이디어를 사용하여 스플라인 계수를 추정하는 것을 막을 수있는 것은 없습니다.

RCS는 스플라인 기준을 작성하는 데 사용할 수있는 한 가지 유형일 뿐이며, 벌점 형 회귀 스플라인은 관련 위글 페널티가있는 하나 이상의 스플라인이 포함 된 모형을 추정하는 한 가지 방법입니다.

문제 1, 2, 3을 피할 수 있습니까?

예, 어느 정도까지는 얇은 판 스플라인 (TPS) 기반입니다. TPS 기준은 고유 한 데이터 값만큼 많은 기본 기능을 갖습니다 . Wood (2003)가 보여준 것은 TPS 기준 함수의 고유 분해를 사용하여 TPRS ( Thin Plate Regression Spline) 기준을 생성 할 수 있으며 처음으로 가장 큰 만 유지합니다 . 여전히 를 지정해야합니다 $X$ $k$ $k$ , 사용하려는 기본 함수의 수이지만 선택은 일반적으로 적합 함수가 얼마나 기대되는지, 얼마나 많은 계산 적중을 기꺼이하는지에 따라 결정됩니다. 매듭 위치를 지정할 필요가 없으며 페널티로 인해 계수가 줄어들어 매듭 수가 다른 하나의 처벌을받지 않은 모델이 많지 않기 때문에 모델 선택 문제를 피할 수 있습니다.

P- 스플라인

일을 좀 더 복잡하게 만들기 위해 P- 스플라인 (Eilers & Marx, 1996)으로 알려진 스플라인 기반이 있는데, 종종 "벌칙"으로 해석됩니다. P- 스플라인은 차이 계수가 모델 계수에 직접 적용되는 B- 스플라인 기준입니다 . 일반적으로 P- 스플라인 페널티는 인접한 모델 계수 사이의 제곱 차이에 불이익을 가하며, 이는 휘파람에 불이익을줍니다. P- 스플라인은 설정이 매우 쉽고 희소 한 페널티 매트릭스를 만들어 MCMC 기반 베이지안 모델에서 스플라인 항을 추정 할 수 있습니다 (Wood, 2017). $P$

참고 문헌

일러, PHC 및 BD 마르크스. -스플라인과 페널티로 유연한 스무딩. 통계 공상 과학

Wood, SN 2003. 얇은 판 회귀 스플라인. JR 통계 Soc. 시리즈 B 통계. Methodol. 65 : 95-114. 도 : 10.1111 / 1467-9868.00374

Wood, SN 2017. 일반화 된 가산 모델 : R, Second Edition, CRC Press 소개.

— 개빈 심슨
소스

+6, 우수한 치료. 잊어 버리면 며칠 내로 상기시켜주세요. 그리고 현상금을 지급하겠습니다.

— gung-모니 티 복원

감사합니다!

— Peter Flom

현상금 ??????

— kjetil b halvorsen