«validation» 태그된 질문

분석 결과가 원래의 연구 환경을 벗어나지 않는지 평가하는 프로세스. 측정 또는 계측기의 '유효성'(예 : 측정 대상 측정)을 논의하는 데이 태그를 사용하지 말고 [validity] 태그를 대신 사용하십시오.

1
logloss vs gini / auc
두 가지 모델 (h2o AutoML을 사용하는 이진 분류기)을 훈련했으며 사용할 모델을 선택하려고합니다. 다음과 같은 결과가 있습니다. model_id auc logloss logloss_train logloss_valid gini_train gini_valid DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975 DL_grid_2 0.543685 0.251431 0.082616 0.186196 0.900955 0.312662 auc과 logloss열이 교차 유효성 검사 측정 항목 (교차 검증은 훈련 데이터를 사용). ..._train및 …

1
별도의 모델링 / 검증 세트를 사용하여 회귀 모델을 작성할 때 검증 데이터를 "재순환"하는 것이 적절합니까?
모델링 / 검증 관찰간에 80/20 분할이 있다고 가정합니다. 모델을 모델링 데이터 세트에 적합 시켰으며 유효성 검증 데이터 세트에서보고있는 오류에 익숙합니다. 향후 관측 값을 채점하기 위해 모델을 롤아웃하기 전에 유효성 검사를 모델링 데이터와 다시 결합하여 100 % 데이터에 대한 매개 변수 추정치를 업데이트하는 것이 적절합니까? 나는 이것에 대한 두 가지 관점을 …

3
홀드 아웃 방법 (데이터를 교육 및 테스트로 분할)이 기존 통계에 사용되지 않는 이유는 무엇입니까?
교실에서 데이터 마이닝에 노출 할 때 모델 성능을 평가하는 방법으로 홀드 아웃 방법이 도입되었습니다. 그러나 선형 모델에서 첫 수업을 들었을 때 이것은 모델 검증 또는 평가의 수단으로 소개되지 않았습니다. 저의 온라인 조사에서도 교차점이 보이지 않습니다. 고전 통계에서 홀드 아웃 방법이 사용되지 않는 이유는 무엇입니까?

1
Brier 점수와 유사한 평균 절대 오차의 이름은 무엇입니까?
어제의 질문 사건 확률을 추정하는 모델의 정확성을 결정 하여 확률 점수에 대해 궁금해했습니다. 찔레 점수 이고 평균 제곱 오차 측정. 유사한 평균 절대 오차 성능 측정이 이름도 있니?1N∑i=1N(predictioni−referencei)21N∑i=1N(predictioni−referencei)2\frac{1}{N}\sum\limits _{i=1}^{N}(prediction_i - reference_i)^2 1N∑i=1N|predictioni−referencei|1N∑i=1N|predictioni−referencei|\frac{1}{N}\sum\limits _{i=1}^{N}|prediction_i - reference_i|

3
시계열 데이터를 기차 / 테스트 / 검증 세트로 분할
시계열 데이터를 기차 / 테스트 / 검증 세트로 분할하는 가장 좋은 방법은 무엇입니까? 여기서 유효성 검사 세트는 하이퍼 파라미터 튜닝에 사용됩니까? 우리는 3 년 분량의 일일 판매 데이터를 보유하고 있으며, 2015-2016 년을 교육 데이터로 사용한 다음 2017 년 데이터에서 10 주를 무작위로 샘플링하여 유효성 검사 세트로 사용하고 2017 년 데이터에서 …

2
정규화 매개 변수 람다의 오류율이 볼록 함수입니까?
Ridge 또는 Lasso에서 정규화 매개 변수 람다를 선택할 때 권장되는 방법은 다른 람다 값을 시도하고 유효성 검사 세트에서 오류를 측정 한 다음 마지막으로 가장 낮은 오류를 반환하는 람다 값을 선택하는 것입니다. 함수 f (lambda) = error가 볼록한 경우 나에게 오지 않습니다. 이렇게 될 수 있을까요? 즉,이 곡선은 하나 이상의 지역 …

1
군집 검증에 대한 정보 변형 (VI) 지표의 직관은 무엇입니까?
나와 같은 비 통계학 자의 VI경우 Marina Melia " 클러스터링 비교-정보 기반 거리 "(2007 년 저널)에 의해 관련 논문을 읽은 후에도 메트릭 (정보 변형) 아이디어를 포착하기가 매우 어렵습니다 . 사실, 많은 클러스터링 용어에 익숙하지 않습니다. 아래는 MWE이며 사용되는 다른 메트릭에서 출력이 무엇을 의미하는지 알고 싶습니다. R에 동일한 순서로 두 개의 …

1
패널 / 세로 데이터에 대한 예측 평가 지표
매월 수준에서 행동 예측을 제공하는 여러 가지 다른 모델을 평가하고 싶습니다. 데이터는 균형이 잡히고 100,000이고 T = 12입니다. 결과는 주어진 달에 콘서트에 참석하므로 한 달에 ~ 80 %의 사람들에게는 0이지만, 무거운 사용자의 긴 꼬리가 있습니다. 내가 예측 한 결과는 결과의 카운트 특성을 존중하지 않는 것 같습니다. 분수 콘서트가 만연합니다.n =n=n=티=T=T= …

3
일관성 검사 란 무엇입니까?
나는 "일일 작업에서 일관성 검사를 했습니까?"와 같은 질문을 받았습니다. Biostatistician 입장을위한 전화 인터뷰 중. 무엇을 대답해야할지 모르겠습니다. 모든 정보를 부탁드립니다.
11 validation 


2
낙관적 편견-예측 오차 추정
통계 학습의 요소 (PDF 온라인에서 사용 가능)는 낙관적 편견 (229 페이지 7.21)에 대해 설명합니다. 낙관주의 편견은 훈련 오류와 표본 내 오류 (각 원래 훈련 지점에서 새로운 결과 값을 샘플링 할 경우 관찰되는 오류)의 차이 (아래 참조)입니다. 다음으로이 낙관주의 편견 (ωω\omega)는 추정 된 y 값과 실제 y 값 (아래 수식)의 공분산과 …

4
모델 피팅 / 트레이닝 및 검증에 사용되는 샘플 데이터의 계산 비율
데이터 예측에 사용할 샘플 크기 "N"을 제공했습니다. 데이터를 세분화하여 일부를 사용하여 모델을 설정하고 나머지 데이터를 사용하여 모델을 확인하는 방법에는 어떤 것이 있습니까? 나는 이것에 대한 흑인과 백인의 대답이 없다는 것을 알고 있지만, 어떤 "엄지 규칙"이나 일반적으로 사용되는 비율을 아는 것이 흥미로울 것입니다. 나는 교수 중 한 명이 대학에서 60 %에 …
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.