통계 및 빅 데이터 overfitting

21

나는 "과적 합 (overfitting)"의 의미를 이해하지만 과적 합 (overfitting)에 적용되는 실제 사례를 제시하는 방법에 대한 도움이 필요합니다.

107 overfitting

6

능선 회귀는 높은 차원에서 쓸모가 없습니까 ( )? OLS가 어떻게 과적 합에 실패 할 수 있습니까?

예측 변수 및 표본 크기 과 함께 좋은 오래된 회귀 문제를 고려하십시오 . 일반적인 지혜는 OLS 추정기가 능선 회귀 추정기에 의해 초과 적합하고 일반적으로 능가한다는 것입니다.최적의 정규화 매개 변수 를 찾기 위해 교차 유효성 검사를 사용하는 것이 표준 입니다. 여기에서는 10 배 CV를 사용합니다. 설명 업데이트 : 일 때 "OLS …

50 cross-validation regularization overfitting ridge-regression shrinkage

6

랜덤 포레스트-오버 피팅 처리 방법

컴퓨터 과학 배경을 가지고 있지만 인터넷에서 문제를 해결하여 데이터 과학을 가르치려고합니다. 나는 지난 몇 주 동안이 문제를 연구 해 왔습니다 (약 900 행과 10 기능). 처음에는 로지스틱 회귀를 사용했지만 이제는 임의의 포리스트로 전환했습니다. 훈련 데이터에서 임의의 포리스트 모델을 실행하면 auc (> 99 %)의 값이 실제로 높아집니다. 그러나 테스트 데이터에서 동일한 …

41 random-forest overfitting

4

사이언스 저널은 '정원 정원 분석'을 승인 했습니까?

적응 형 데이터 분석 의 개념은 데이터에 대해 자세히 알아볼 때 데이터 분석 계획을 변경하는 것입니다. 탐색 적 데이터 분석 (EDA)의 경우, 이것은 일반적으로 좋은 생각입니다 (데이터에서 예기치 않은 패턴을 찾는 경우가 많지만). 단계는 명확하게 정의되고 고급으로 적절히 계획됩니다). 즉, 적응 형 데이터 분석 은 일반적으로 통계학 자의 불만에 대해 …

29 hypothesis-testing overfitting eda out-of-sample differential-privacy

5

로지스틱 회귀 모델 과적 합

로지스틱 회귀 모형을 과적 합할 수 있습니까? ROC 곡선 아래의 면적이 95 %보다 높으면 과적 합 될 가능성이 높지만 로지스틱 회귀 모형을 과적 합시킬 수 있다는 비디오를 보았습니다.

28 logistic overfitting regression-strategies

4

유효성 검사 정확도가 향상되는 동안 유효성 검사 손실이 증가하는 방법은 무엇입니까?

CIFAR10 데이터 세트에서 간단한 신경망을 훈련하고 있습니다. 얼마 후, 검증 손실이 증가하기 시작했지만 검증 정확도도 증가했습니다. 테스트 손실 및 테스트 정확도는 계속 향상됩니다. 이것이 어떻게 가능한지? 유효성 검증 손실이 증가하면 정확도가 저하되는 것 같습니다. 추신 : 비슷한 질문이 몇 개 있지만 아무도 그 일에 대해 설명하지 못했습니다.

27 neural-networks deep-learning conv-neural-network overfitting

6

가중치가 작을수록 정규화에서 모델이 더 단순 해지는 이유는 무엇입니까?

저는 1 년 전에 Andrew Ng의 기계 학습 과정을 수료했으며 이제 로지스틱 회귀 작업과 성능 최적화 기술에 대한 고등학교 수학 탐구를 작성하고 있습니다. 물론 이러한 기술 중 하나는 정규화입니다. 정규화의 목표는 모델 단순성의 목표를 포함하도록 비용 함수를 확장하여 과적 합을 방지하는 것입니다. 우리는 비용 함수에 각 가중치를 제곱하고 정규화 매개 …

27 regression machine-learning optimization regularization overfitting

5

과적 합 모델이 반드시 쓸모 없는가?

모델이 훈련 데이터의 정확도는 100 %이지만 테스트 데이터의 정확도는 70 %라고 가정합니다. 이 모델에 대해 다음과 같은 주장이 사실입니까? 이것이 과적 합 된 모델이라는 것은 명백합니다. 과적 합을 줄임으로써 테스트 정확도를 향상시킬 수 있습니다. 그러나이 모델은 테스트 데이터에 적합한 정확도를 갖기 때문에 여전히 유용한 모델이 될 수 있습니다.

25 model accuracy overfitting

2

베이지안 방법이 과적 합하지 않는 것이 사실입니까?

베이지안 방법이 과적 합하지 않는 것이 사실입니까? (이 주장을하는 논문과 튜토리얼을 보았습니다) 예를 들어, 가우시안 프로세스를 MNIST (손으로 쓴 숫자 분류)에 적용하지만 단일 샘플 만 표시하는 경우 해당 단일 샘플과 다른 입력에 대해 이전 분포로 되돌 리지만 차이는 크지 않습니까?

25 bayesian nonparametric gaussian-process overfitting misspecification

2

PCA와 LDA를 결합하는 것이 합리적입니까?

예를 들어 Bayes 분류기를 통해 감독 된 통계 분류 작업에 대한 데이터 집합이 있다고 가정합니다. 이 데이터 세트는 20 개의 피쳐로 구성되며 PCA (Principal Component Analysis) 및 / 또는 LDA (Linear Discriminant Analysis)와 같은 차원 축소 기법을 통해 2 가지 피쳐로 요약하려고합니다. 두 기술 모두 데이터를 더 작은 피쳐 하위 …

25 classification pca regularization discriminant-analysis overfitting

4

“반 감독 학습”– 이것이 과적입니까?

Kaggle 경쟁에서 승리 한 솔루션에 대한 보고서를 읽고있었습니다 ( Malware Classification ). 보고서는이 포럼 게시물 에서 찾을 수 있습니다 . 문제는 열차 세트에 10000 개의 요소, 테스트 세트에 10000 개의 요소가있는 분류 문제 (9 개의 클래스, 메트릭은 로그 손실)였습니다. 경쟁하는 동안 모델은 테스트 세트의 30 %에 대해 평가되었습니다. 또 다른 …

21 machine-learning random-forest boosting overfitting semi-supervised

9

과적 합 및 과적 합

과적 합과 과적 합에 대해 조사한 결과 이들이 정확히 무엇인지 이해했지만 그 이유를 찾을 수 없습니다. 과적 합과 과적 합의 주된 이유는 무엇입니까? 모델 훈련에서이 두 가지 문제에 직면하는 이유는 무엇입니까?

20 machine-learning dataset overfitting

1

xgboost의 초과 적합에 대한 토론

내 설정은 다음과 같습니다. "Applied Predictive Modelling"의 지침을 따르고 있습니다. 따라서 상관 된 기능을 필터링하고 다음과 같이 끝납니다. 훈련 세트의 4900 데이터 포인트와 테스트 세트의 1600 데이터 포인트 26 개의 기능이 있으며 대상은 연속 변수입니다. caret패키지를 사용하여 모델을 훈련시키기 위해 5 배 교차 검증을 적용 합니다. MARS 모델을 적용하면 훈련 …

20 machine-learning boosting overfitting

5

회귀 분석에서 과적 합 방지 : 정규화의 대안

회귀 정규화 (선형, 로지스틱 등)는 과적 합을 줄이는 가장 보편적 인 방법입니다. 목표가 예측 정확도 (설명하지 않음) 인 경우 정규화에 대한 대안이 있습니까? 특히 빅 데이터 세트 (수십억 개의 관측치 및 수백만 개의 특징)에 적합합니까?

19 regression regularization overfitting

2

강화 : 왜 학습률이 정규화 매개 변수라고 불리는가?

그라디언트 부스팅 의 학습 속도 매개 변수 ( )는 시리즈에 추가 된 각각의 새 기본 모델 (일반적으로 얕은 나무)의 기여도를 줄입니다. 테스트 세트 정확도를 크게 향상시키는 것으로 나타 났으며, 이는 작은 단계에서와 같이 이해할 수있는 최소 손실 기능을보다 정확하게 얻을 수 있습니다. ν∈ [ 0 , 1 ]ν∈[0,1]\nu \in [0,1] …

19 machine-learning data-mining predictive-models boosting overfitting

«overfitting» 태그된 질문