«cross-validation» 태그된 질문

보류 된 데이터 서브 세트에서 모델 성능을 정량화하기 위해 모델 피팅 중에 데이터 서브 세트를 반복적으로 보류합니다.

3
중첩 교차 검증에서 하이퍼 파라미터를 얻는 방법은 무엇입니까?
중첩 교차 유효성 검사에 대한 다음 게시물을 읽었으며 여전히 중첩 교차 유효성 검사를 사용하여 모델 선택과 관련하여 100 % 확실하지 않습니다. 모델 선택을위한 중첩 교차 검증 모델 선택 및 교차 검증 : 올바른 방법 혼란을 설명하기 위해 중첩 교차 검증 방법을 사용하여 모델 선택을 단계별로 살펴 보겠습니다. K-Fold를 사용하여 외부 …


1
반복 된 k- 폴드 교차 검증의 분산보고
나는 k- 폴드 교차 검증을 반복해서 사용했고 교차 검증의 다른 실행의 접힘에 걸쳐 총 평균으로 계산 된 평균 (예 : 감도, 특이성)을보고했습니다. 그러나 분산을 어떻게보고해야하는지 잘 모르겠습니다. 여기에서 반복 교차 검증에 대해 많은 질문을 찾았지만 반복 교차 검증 테스트에서 분산에 대한 질문에 명시 적으로 답하는 것은 없습니다. 총 편차는 1) …

1
캐럿-반복 된 K- 폴드 교차 검증 대 중첩 된 K- 폴드 교차 검증, 반복 된 n 번
캐럿 패키지는 여러 기계 학습 모델을 구축하기위한 뛰어난 R 라이브러리이며, 모델 구축 및 평가에 대한 몇 가지 기능이 있습니다. 매개 변수 튜닝 및 모델 학습을 위해 caret 패키지는 방법 중 하나로 'repeatedcv'를 제공합니다. 모범 사례로서 다음과 같이 작동하는 중첩 된 K- 폴드 교차 검증을 사용하여 매개 변수 튜닝을 수행 할 …

1
예측 모델을 평가하기 위해 반복 교차 검증을 사용해야합니까?
나는 우연히 이 2012 기사 질문에 교차 검증의 분산을 줄이기위한 인기있는 기술이되었다 반복 교차 검증의 유틸리티를 호출 Gitte Vanwinckelen 및 헨드릭 Blockeel에 의해. 저자들은 반복 된 교차 검증이 모델 예측의 분산을 감소시키는 반면, 동일한 샘플 데이터 세트가 재 샘플링되고 있기 때문에 재 샘플링 된 교차 검증 추정치의 평균이 실제 예측 …

3
k- 폴드 교차 검증에 대한 그리드 검색
10 배 교차 유효성 검사 설정에서 120 샘플의 데이터 세트가 있습니다. 현재 첫 번째 홀드 아웃의 교육 데이터를 선택하고 그리드 검색을 통해 감마 및 C의 값을 선택하기 위해 5 배 교차 검증을 수행합니다. RBF 커널과 함께 SVM을 사용하고 있습니다. 정밀도를보고하기 위해 10 개의 교차 검증을 수행하고 있으므로 각 홀드 아웃의 …

7
"가장 적합"및 교차 검증이라는 용어에 사용 된 "최고"의 정의는 무엇입니까?
비선형 함수를 점 집합에 맞추는 경우 (각 가로 좌표마다 세로 좌표가 하나만 있다고 가정) 결과는 다음 중 하나 일 수 있습니다. 잔차가 적은 매우 복잡한 함수 잔차가 큰 매우 간단한 함수 교차 검증은 일반적으로이 두 극단 사이의 "최상의"타협점을 찾는 데 사용됩니다. 그러나 "최고"는 무엇을 의미합니까? "가장 가능성이 높습니까?" 가장 가능성있는 …

2
R의 캐럿 패키지에서 PCA 및 k- 폴드 교차 검증
방금 Coursera의 기계 학습 과정에서 강의를 다시 보았습니다. 교수는지도 학습 응용 프로그램의 전처리 데이터에 대한 PCA에 대해 논의하는 섹션에서 PCA는 훈련 데이터에 대해서만 수행되어야하며 매핑은 교차 검증 및 테스트 세트를 변환하는 데 사용됩니다. PCA 및 열차 / 시험 분할 도 참조하십시오 . 그러나 caretR 패키지에서 train()함수에 전달한 학습 데이터 는 …

4
교차 검증 전 정규화
k- 폴드 교차 검증을 반복하기 전에 정규화 데이터 (평균이 0이고 표준 편차가 0이 됨)가 과적 합과 같은 부정적인 영향을 미칩니 까? 참고 : 이것은 #cases> total #features 인 상황을위한 것입니다. 로그 변환을 사용하여 일부 데이터를 변환 한 다음 위와 같이 모든 데이터를 정규화하고 있습니다. 그런 다음 기능 선택을 수행하고 있습니다. …

2
CalibratedClassifierCV를 사용하여 분류자를 교정하는 올바른 Scikit 방법
Scikit에는 CalibratedClassifierCV 가있어 특정 X, y 쌍에서 모델을 교정 할 수 있습니다. 또한 명확하게data for fitting the classifier and for calibrating it must be disjoint. 그들이 분리되어 있어야한다면, 분류기를 다음과 같이 훈련시키는 것이 합법적인가? model = CalibratedClassifierCV(my_classifier) model.fit(X_train, y_train) 나는 동일한 훈련 세트를 사용함으로써 disjoint data규칙을 어 기고 있다는 것을 …

1
lmer 모델에 사용할 다중 비교 방법 : lsmeans 또는 glht?
하나의 고정 효과 (조건)와 두 개의 임의 효과 (대상 내 설계 및 쌍으로 인해 참가자)가있는 혼합 효과 모델을 사용하여 데이터 세트를 분석하고 있습니다. lme4패키지로 모델이 생성되었습니다 exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp). 다음으로, 고정 효과 (조건)없이 모형에 대해이 모형의 우도 비 검정을 수행했으며 유의 한 차이가 있습니다. 내 데이터 세트에는 3 가지 조건이 있으므로 다중 …

2
가방 부족 오류로 인해 임의 포리스트에서 CV가 필요하지 않습니까?
나는 임의의 숲에 상당히 익숙합니다. 과거에는, 나는 항상의 정확성을 비교 한 시험 대에 맞게 에 대한 열차 대에 맞는 어떤 overfitting을 감지 할 수 있습니다. 그러나 나는 여기서 그것을 읽었 습니다 . "임의의 포리스트에서는 교차 검증 또는 별도의 테스트 세트가 필요하지 않으므로 테스트 세트 오류를 ​​편견없이 추정 할 수 있습니다. …

1
귀무 가설 하에서 교환 가능한 샘플의 직관은 무엇입니까?
순열 검정 (랜덤 화 검정, 재 랜덤 화 검정 또는 정확한 검정이라고도 함)은 매우 유용하며, 예를 들어 요구되는 정규 분포 가정이 t-test충족되지 않고 순위에 따라 값을 변환 할 때 유용합니다. 비모수 테스트 Mann-Whitney-U-test는 더 많은 정보가 손실 될 수 있습니다. 그러나 이러한 종류의 테스트를 사용할 때 단 하나의 가정 만 …
15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 

2
교차 검증에서 평균 (점수) vs 점수 (연결)
TLDR : 내 데이터 세트는 매우 작은 (120) 샘플입니다. 10 배 교차 검증을 수행하는 동안 다음을 수행해야합니다. 각 테스트 폴드에서 출력을 수집하여 벡터로 연결 한 다음이 전체 예측 벡터 (120 개 샘플)에 대한 오류를 계산합니까? 또는 대신 각 겹 에서 얻은 출력 (폴드 당 12 샘플)의 오류를 계산 한 다음 …

2
“부트 스트랩 유효성 검사”(일명“리샘플링 교차 유효성 검사”) 절차는 무엇입니까?
"부트 스트랩 유효성 검사"/ "리샘플링 교차 유효성 검사"는 처음이지만 이 질문 에 대한 답변으로 논의되었습니다 . 시뮬레이션 데이터의 크기가 실제 데이터와 동일한 크기가 될 때까지 대체로 리샘플링하여 주어진 시뮬레이션 데이터 세트가 실제 데이터에서 생성되는 실제 데이터와 시뮬레이션 데이터의 두 가지 유형의 데이터를 수집합니다. 이러한 데이터 유형을 사용하는 두 가지 접근법을 …

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.