«bias-variance-tradeoff» 태그된 질문

서로 다른 교차 검증 방법이 모델 분산 및 바이어스 측면에서 어떻게 비교됩니까? 내 질문은 부분적으로이 스레드에 의해 좌우된다 폴드의 최적의 수 -fold 교차 검증 : 항상 남겨-하나를 아웃 CV 최선의 선택? 케이KK K. 이에 대한 답은 Leave-one-Out 교차 검증으로 학습 된 모델은 일반적인 -fold 교차 검증으로 학습 된 모델 보다 …

83 machine-learning  variance  cross-validation  bias  bias-variance-tradeoff 

컴퓨팅 파워 고려 사항을 제외하고, 교차 유효성 검사에서 접기 수 를 늘리면 더 나은 모델 선택 / 검증이 가능합니다 (즉, 접기 수가 많을수록 좋습니다)? 극단적 인 주장을 취하면, 일대일 교차 검증은 폴드 교차 검증 보다 더 나은 모델로 이어질 까요?KKK 이 질문에 대한 몇 가지 배경 : 나는 매우 적은 …

47 cross-validation  bias-variance-tradeoff 

난의 편향 - 분산 트레이드 오프의 제 판독하고 통계적 학습 요소 되도록 상기 데이터 모델에서 발생하자 I은 29 페이지의 식 의심이 여기서 무작위 예상 값이 이고 분산 입니다. 모델의 예상 오차 값을 여기서 는 학습자 의 에 대한 예측입니다 . 책에 따르면 오류는 Y=f(x)+ϵY=f(x)+ϵ Y = f(x)+\epsilonϵϵ\epsilonϵ^=E[ϵ]=0ϵ^=E[ϵ]=0\hat{\epsilon} = E[\epsilon]=0E[(ϵ−ϵ^)2]=E[ϵ2]=σ2E[(ϵ−ϵ^)2]=E[ϵ2]=σ2E[(\epsilon - …

20 machine-learning  unbiased-estimator  mse  bias-variance-tradeoff 

편향-분산 트레이드 오프, 추정 자의 편향과 모델의 편향 사이의 관계, 그리고 추정 자의 분산과 모형의 분산 사이의 관계를 이해하려고합니다. 나는 이러한 결론에 도달했다. 추정 자의 편향을 무시할 때, 즉 모형의 분산을 무시하는 모형의 편향 만 최소화하려는 경우 (즉, 고려하지 않고 추정 자의 분산을 최소화하는 것을 목표로하는 경우) 데이터를 과적 합하는 …

15 regression  variance  bias  bias-variance-tradeoff 

통계 학습 서적의 요소에서 최상의 하위 집합 선택에 대해 읽고 있습니다. 3 개의 예측 변수 이 있으면 2 3 = 8 부분 집합을 만듭니다 .엑스1, x2, x삼x1,x2,x3x_1,x_2,x_32삼= 823=82^3=8 예측 변수가없는 부분 집합 예측 변수가 x 1 인 부분 집합엑스1x1x_1 예측 변수가 x 2 인 부분 집합엑스2x2x_2 예측 변수 x 3의 …

13 regression  feature-selection  lasso  bias-variance-tradeoff 

데이터 포인트를 더 복잡한 모델이 필요하거나 더 복잡한 모델이 필요하지 않은 것으로 분류하고 싶습니다. 내 현재 생각은 모든 데이터를 간단한 선형 모델에 맞추고 잔차의 크기를 관찰 하여이 분류를 만드는 것입니다. 그런 다음 오차에 대한 편차 및 분산 기여에 대해 몇 가지를 읽었으며 바이어스를 직접 계산할 수 있으면 총 오차 (잔여 …

9 regression  multiple-regression  residuals  bias-variance-tradeoff 

'통계 학습의 요소'에서 선형 모형의 바이어스-분산 분해에 대한 표현은 여기서 은 실제 대상 함수이고 는 모델의 임의 오차의 분산입니다. 및 의 선형 추정기 인 .이자형r r (엑스0) =σ2ϵ+ E[ f(엑스0) − E에프^(엑스0)]2+ | | h (엑스0) ||2σ2ϵ,Err(x0)=σϵ2+E[f(x0)−Ef^(x0)]2+||h(x0)||2σϵ2,Err(x_0)=\sigma_\epsilon^2+E[f(x_0)-E\hat f(x_0)]^2+||h(x_0)||^2\sigma_\epsilon^2,에프(엑스0)f(x0)f(x_0)σ2ϵσϵ2 \sigma_\epsilon^2와이= f( x ) + ϵy=f(x)+ϵy=f(x)+\epsilon에프^( x )f^(x)\hat f(x)에프( x )f(x)f(x) 이 …

9 regression  linear-model  bias-variance-tradeoff