«overfitting» 태그된 질문

우선, 신경망을 훈련시키는 데 필요한 샘플 크기는 일반적으로 없습니다. 그것은 작업의 복잡성, 데이터의 노이즈 등과 같은 너무 많은 요소에 달려 있습니다. 훈련 샘플이 많을수록 네트워크가 더 좋습니다. 그러나 궁금한 점이있다 : 만약 내가 "단순"하다고 생각한다면 이론적으로 가중치보다 적은 훈련 샘플로 신경망을 훈련시키는 것이 가능한가? 아무도 이것이 잘 된 예를 알고 …

12 neural-networks  overfitting  underdetermined 

피셔의 정확한 테스트를 더 잘 이해하고 싶기 때문에 f와 m이 남성과 여성에 해당하고 n과 y가 "소다 소비"에 해당하는 다음 장난감 예제를 고안했습니다. > soda_gender f m n 0 5 y 5 0 분명히 이것은 과감한 단순화이지만 컨텍스트가 방해되는 것을 원하지 않았습니다. 여기서 나는 남자들이 음료수를 마시지 않고 여자들은 음료수를 마시고 …

12 fishers-exact  hypergeometric  clustering  supervised-learning  modeling  econometrics  r  regression  residuals  heteroscedasticity  independence  distributions  self-study  matlab  libsvm  self-study  conditional-probability  conditional-expectation  hypothesis-testing  self-study  multiple-comparisons  mode  statistical-significance  chi-squared  multiple-comparisons  maximum-likelihood  poisson-process  optimization  uncertainty  genetic-algorithms  bayesian  model-selection  overfitting  maximum-likelihood  optimization  approximation  r  prediction  model-evaluation  r  machine-learning  survival  neural-networks  cox-model  machine-learning  bayesian  bayesian-network  hierarchical-bayesian  pooling 

나는 명백하게 이분법적인 가치 분포를 가지고 있는데, 나는 그것을 추구한다. 데이터는 2 개의 일반 기능 (바이 모달) 또는 3 개의 일반 기능에 잘 맞습니다. 또한 데이터를 3에 맞추는 데에는 그럴듯한 물리적 이유가 있습니다. 도입 된 매개 변수가 많을수록 충분한 상수를 사용하면 " 코끼리를 맞출 수있다"는 것처럼 완벽하게 맞을 수 있습니다 …

11 distributions  normal-distribution  model-selection  overfitting 

오늘 우리 교수는 수업에서 "선형 분류기로 과적 합하는 것은 불가능하다"고 말했습니다. 선형 분류 자조차도 훈련 세트의 특이 치에 민감 할 수 있기 때문에 잘못 알고 있습니다. 아니면 내가 틀렸어? 분명히, 선형성은 아마도 모델 복잡성이 낮아서 오버 피팅을 방지 할 수 있지만 여전히 오버 피팅이 불가능한 이유는 알 수 없습니다. 한 …

10 classification  overfitting 

내가 본 한, 이것에 대한 의견은 다른 경향이 있습니다. 모범 사례는 특히 교차 검증을 사용하여 지시 할 것입니다 (특히 동일한 데이터 세트에서 다른 알고리즘과 RF를 비교하는 경우). 반면, 원본 출처는 모델 훈련 중에 OOB 오류가 계산된다는 사실은 테스트 세트 성능의 지표로 충분하다고 명시하고 있습니다. 비교적 최근 대화에서 Trevor Hastie조차도 "임의의 …

10 cross-validation  random-forest  overfitting  out-of-sample 

임의의 숲이 과적 합할 수 없다는 몇 가지 문헌을 읽었습니다. 이것은 훌륭하게 들리지만 사실이 되기에는 너무 좋은 것 같습니다. rf가 과적 합할 수 있습니까?

10 random-forest  overfitting 

최소 회귀 문제에서 정규화를 사용할 수 있음을 이해합니다. w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw⁡[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right] 이 문제에는 다음과 같은 폐쇄 형 솔루션이 있습니다. w^=(XTX+λI)−1XTy.w^=(XTX+λI)−1XTy.\hat{\boldsymbol{w}} = (\boldsymbol{X}^T\boldsymbol{X}+\lambda\boldsymbol{I})^{-1}\boldsymbol{X}^T\boldsymbol{y}. 두 번째 방정식에서 정규화는 단순히 λλ\lambda 를 \ boldsymbol {X} ^ T \ boldsymbol {X} 의 대각선에 추가 XTXXTX\boldsymbol{X}^T\boldsymbol{X}하는 것입니다. 이는 행렬 …

10 regression  regularization  ridge-regression  overfitting  matrix-inverse 

포화 모델이 무엇인지 이해하려고합니다. AFAIK 관측치만큼 많은 기능이있을 때입니다. 포화 모델이 과적 합 된 모델의 특수 사례라고 말할 수 있습니까?

10 overfitting 

과적 합을 초래하지 않습니까? 분석의 일부로 잭 나이프 또는 부트 스트랩 절차를 추가하면 내 결과가 더 신뢰할 수 있습니까?

9 multiple-regression  bootstrap  reliability  overfitting  jackknife 

백 테스트를 수행하려는 성능의 예측 모델이 있습니다 (예 : 데이터 세트를 가져 와서 이전 시점으로 "되감기"하고 모델의 예상 성능을 확인하십시오). 문제는 내 모델 중 일부가 대화식 프로세스를 통해 빌드되었다는 것입니다. 예를 들어 Frank Harrell의 Regression Modeling Strategies 의 조언에 따라 한 모델에서 제한된 입방 스플라인을 사용하여 피처와 응답 간의 비선형 …

9 cross-validation  modeling  outliers  splines  overfitting