머신 러닝에서 유연하고 융통성없는 모델

다양한 시나리오에서 유연한 모델 (예 : 스플라인)과 유연한 모델 (예 : 선형 회귀)을 비교하는 간단한 질문을 받았습니다. 질문은 ~이야:

일반적으로 다음과 같은 경우에 유연한 통계 학습 방법의 성능이 유연성이없는 방법보다 더 우수하거나 더 나빠질 것으로 예상합니까?

1. 예측 변수 는 매우 크며 관측치 은 적습니까? $p$$n$
2. 오차항의 편차, 즉 $σ^2 = \text{Var}(e)$ 는 매우 높습니까?

나는 (1), $n$ 이 작을 때 융통성이없는 모델이 더 낫다고 생각합니다 ( 확실하지 않음). (2)의 경우 어떤 모델이 (상대적으로) 더 나은지 모르겠습니다.

이 두 가지 상황에서, 비교 성능 융통성 대 융통성없는 모델은 또한 다음에 의존합니다.

• y = f (x)는 선형 또는 매우 비선형에 가깝다;
• 장착 할 때 "유연한"모델의 유연성 정도를 조정 / 제한합니까?

관계가 선형에 가깝고 유연성을 제한하지 않는 경우 선형 모델은 두 경우 모두에 적합 할 수 있기 때문에 두 경우 모두에서 더 나은 테스트 오류를 ​​제공해야합니다.

당신은 그것을 그것을 볼 수 있습니다 :

• 두 경우 모두 데이터에 실제 관계에 대한 충분한 정보가 포함되어 있지 않습니다 (첫 번째 관계는 차원이 높고 데이터가 충분하지 않은 경우 두 번째 경우 노이즈로 인해 손상됨).
  • 선형 모델은 실제 관계 (선형 관계에 대한 적합 관계 클래스 제한)에 대한 외부 사전 정보를 제공합니다.
  • 그 이전 정보가 옳은 것으로 판명되었습니다 (진정한 관계는 선형에 가깝습니다).
• 유연한 모델에는 사전 정보가 포함되어 있지 않지만 (어떤 것에도 맞을 수 있음) 소음에 적합합니다.

그러나 진정한 관계가 매우 비선형 적이라면 누가 이길 것인지 말하기가 어렵습니다 (둘 다 느슨해집니다).

유연성의 정도를 조정 / 제한하고 올바른 방식으로 (예 : 교차 유효성 검사) 수행하면 모든 경우에 유연한 모델이 우선합니다.

물론 그것은 모델에 맞추기 전에 항상 그 특성 중 일부를 찾기 위해 탐색 해야하는 기본 데이터에 달려 있지만 일반적인 경험 법칙으로 배운 것은 다음과 같습니다.

• 유연한 모델을 사용하면 큰 표본 크기 (큰 n)를 최대한 활용할 수 있습니다.
• 비선형 효과를 찾으려면 유연한 모델이 필요합니다.
• 유연한 모델을 사용하면 문제의 잡음이 너무 많이 발생할 수 있습니다 (오류 항의 분산이 높을 때).

두 번째 부분에서는 더 유연한 모델이 모델에 적합하고 훈련 데이터에 높은 노이즈가 포함되어 있다고 생각하므로 유연한 모델은 해당 노이즈를 배우려고 시도하고 더 많은 테스트 오류가 발생합니다. 나는 또한 같은 책을 읽고 있기 때문에이 질문의 출처를 알고 있습니다 :)

첫 번째 부분에서는 제한된 수의 관측으로 융통성이없는 모델이 더 잘 수행 될 것으로 기대합니다. n이 매우 작 으면 두 모델 (유연성이든 비 유연성이든)이 충분히 예측할 수 없습니다. 그러나 유연한 모델은 데이터를 과적 합하는 경향이 있으며 새로운 테스트 세트에 대해서는 성능이 떨어집니다.

이상적으로는 피팅을 개선하기 위해 더 많은 관측치를 수집하지만 그렇지 않은 경우 새로운 테스트 세트로 테스트 오류를 ​​최소화하기 위해 융통성이없는 모델을 사용합니다.

$f$

$Y$$Y$$\hat f$$f$$\hat f$$\hat f$$f$$\hat Y = f(X)$$Y$$\epsilon$$X$$\epsilon$$f$$\epsilon$

(a)에서 (d)까지의 각 부분에 대해 i. 또는 ii. 정확하고 답변을 설명하십시오. 일반적으로 우리는 다음과 같은 경우에 유연한 통계 학습 방법의 성능이 유연성이없는 방법보다 더 좋거나 나빠질 것으로 예상합니까?

표본 크기 n은 매우 크며 예측 변수 p의 수는 작습니까?

보다 나은. 유연한 방법은 데이터를 더 가깝게 맞추고 큰 표본 크기로 유연하지 않은 방법보다 성능이 우수합니다.

예측 변수 p의 수는 매우 크며, 관측 수 n은 작습니까?

보다 나쁜. 유연한 방법은 적은 수의 관측치보다 적합합니다.

예측 변수와 반응의 관계는 비선형입니까?

보다 나은. 자유도가 높을수록 융통성있는 방법이 융통성없는 방법보다 더 적합합니다.

오차항의 편차, 즉 σ2 = Var (ε)는 매우 높습니까?

보다 나쁜. 유연한 방법은 오차 항의 노이즈에 적합하고 분산을 증가시킵니다.

여기 에서 찍은 .