통계 및 빅 데이터 predictive-models

2

지난 주말에 R (1st edition)로 Faraway의 교과서 선형 모델을 읽었습니다 . Faraway에는 "통계 전략 및 모델 불확실성"이라는 장이있었습니다. 그는 매우 복잡한 모델을 사용하여 인위적으로 일부 데이터를 생성했다고 설명하고 (158 페이지), 학생들에게 데이터를 모델링하고 학생들의 예측 결과 와 읽은 결과를 비교하도록 요청했습니다 . 불행히도 대부분의 학생들은 테스트 데이터를 과도하게 맞추고 예측 …

13 predictive-models modeling interpretation

1

별도의 모델링 / 검증 세트를 사용하여 회귀 모델을 작성할 때 검증 데이터를 "재순환"하는 것이 적절합니까?

모델링 / 검증 관찰간에 80/20 분할이 있다고 가정합니다. 모델을 모델링 데이터 세트에 적합 시켰으며 유효성 검증 데이터 세트에서보고있는 오류에 익숙합니다. 향후 관측 값을 채점하기 위해 모델을 롤아웃하기 전에 유효성 검사를 모델링 데이터와 다시 결합하여 100 % 데이터에 대한 매개 변수 추정치를 업데이트하는 것이 적절합니까? 나는 이것에 대한 두 가지 관점을 …

13 regression predictive-models validation

2

랜덤 포레스트 모델을 사용할 때 변수를 기록 / 처리하는시기?

여러 속성을 기반으로 가격을 예측하기 위해 Random Forests를 사용하여 회귀를 수행하고 있습니다. 코드는 Scikit-learn을 사용하여 Python으로 작성됩니다. 회귀 모형에 맞도록 변수를 사용 하기 전에 exp/ log를 사용하여 변수를 변환해야하는지 어떻게 결정 합니까? Random Forest와 같은 Ensemble 방식을 사용할 때 필요합니까?

13 regression machine-learning predictive-models python random-forest

2

희귀 한 이벤트 예측 모델을위한 오버 샘플링을 사용한 자루

다음이 설명되어 있는지, 그리고 어느 것이 든 불균형 목표 변수를 가진 예측 모델을 배우는 타당한 방법처럼 들리는 지 아는 사람이 있습니까? 데이터 마이닝의 CRM 응용 프로그램에서 종종 긍정적 이벤트 (성공)가 대다수 (음수 클래스)에 비해 매우 드문 모델을 찾습니다. 예를 들어, 0.1 %만이 긍정적 인 관심 대상 (예 : 고객이 구매 …

13 data-mining predictive-models

2

로지스틱 회귀 분석에 P> 0.5 컷오프가 "최적"이 아닌 이유는 무엇입니까?

PREFACE : 컷오프 사용의 장점 또는 컷오프 선택 방법에 대해서는 신경 쓰지 않습니다. 내 질문은 순전히 수학적이며 호기심 때문입니다. 로지스틱 회귀는 클래스 A 대 클래스 B의 사후 조건부 확률을 모델링하며 사후 조건부 확률이 동일한 초평면에 적합합니다. 따라서 이론적으로 0.5 분류 포인트는 사후 확률을 모델링하기 때문에 (균일 한 동일한 클래스 비율이 …

13 logistic predictive-models unbalanced-classes

2

Quantile 회귀 예측

일부 모델에 Quantile Regression을 사용하는 데 관심이 있지만이 방법을 사용하여 달성 할 수있는 사항에 대해 설명하고 싶습니다. 나는 특히 특이 치와 이분산성에 직면했을 때 IV / DV 관계에 대한보다 강력한 분석을 얻을 수 있지만 내 경우에는 예측에 중점을 둔다는 것을 이해합니다. 특히 더 복잡한 비선형 모델이나 부분 선형 회귀에 의존하지 …

13 predictive-models quantile-regression

4

R에서 nls 모델에 대한 올바른 시작 값 얻기

간단한 전력 법칙 모델을 다음과 같은 데이터 세트에 맞추려고합니다. mydf: rev weeks 17906.4 1 5303.72 2 2700.58 3 1696.77 4 947.53 5 362.03 6 목표는 전력선을 통과시켜 rev향후 몇 주 동안 vlaues 를 예측하는 데 사용하는 것입니다. 많은 연구 결과에 nls따라 다음과 같이 구현되었습니다. newMod <- nls(rev ~ a*weeks^b, data=modeldf, …

13 r predictive-models nonlinear-regression power-law nls

2

수축이란 무엇입니까?

수축이란 단어는 특정 원에서 많이 발생합니다. 그러나 수축이란 명확한 정의가없는 것 같습니다. 시계열 (또는 일부 프로세스의 관측치 모음)이있는 경우 시리즈에서 경험적 수축 유형을 측정 할 수있는 다른 방법은 무엇입니까? 내가 말할 수있는 다른 유형의 이론적 수축은 무엇입니까? 수축이 예측에 어떻게 도움이 될 수 있습니까? 사람들이 좋은 통찰력이나 참고 자료를 제공 …

13 estimation predictive-models shrinkage

2

확률 모델을 교정하는 동안 최적의 빈 너비를 선택하는 방법은 무엇입니까?

배경 : 결과 발생 가능성을 예측하는 모델을 교정하는 방법에 대한 몇 가지 훌륭한 질문 / 답변이 있습니다. 예를 들어 브리 어 점수 및 결의, 불확실성 및 신뢰성 으로의 분해 . 교정 플롯 및 등장 회귀 . 이러한 방법은 종종 예측 된 확률에 비닝 방법을 사용해야하므로 결과의 동작 (0, 1)이 평균 …

12 probability predictive-models binary-data calibration scoring-rules

1

로지스틱 회귀 분석에서 적합도 검정; 어떤 '적합'을 테스트하고 싶습니까?

나는 질문과 그 답을 언급하고 있습니다 : 로지스틱 회귀에서 개발 된 모델의 예측 능력을 비교하는 방법은 무엇입니까? @Clark Chong의 답변 및 @Frank Harrell의 답변 / 댓글. 그리고 Hosmer-Lemeshow 테스트에서 의 자유도χ2χ2\chi^2 및 질문에 대한 질문 . 나는 DW Hosmer, T. Hosmer, S. Le Cessie, S. Lemeshow 논문, "물류 회귀 모형에 …

12 hypothesis-testing logistic predictive-models regression-strategies hosmer-lemeshow-test

1

다중 공선 성 및 스플라인 회귀에 문제가 있습니까?

자연적인 (즉, 제한된) 큐빅 스플라인을 사용할 때 생성 된 기본 함수는 매우 공 선형이며 회귀에 사용될 때 다중 공선 성을 나타내는 매우 높은 VIF (분산 인플레이션 계수) 통계를 생성하는 것으로 보입니다. 예측 목적으로 모델의 경우를 고려할 때 이것이 문제입니까? 스플라인 구조의 특성으로 인해 항상 그렇습니다. 다음은 R의 예입니다. library(caret) library(Hmisc) …

12 multiple-regression generalized-linear-model predictive-models multicollinearity splines

1

R-자유도에서 PROC Mixed과 lme / lmer의 차이점

참고 :이 질문은 법적 이유로 인해 이전 질문을 삭제해야했기 때문에 다시 게시되었습니다. SAS의 PROC MIXED를 R lme의 nlme패키지 기능과 비교하는 동안 다소 혼란스러운 차이점을 발견했습니다. 구체적으로는, 다른 시험에서 자유도간에 상이 PROC MIXED하고 lme, 그리고 왜 생각해. 다음 데이터 세트에서 시작하십시오 (아래 제공된 R 코드). ind : 측정 대상을 나타내는 계수 …

12 r mixed-model sas degrees-of-freedom pdf unbiased-estimator distance-functions functional-data-analysis hellinger time-series outliers c++ relative-risk absolute-risk rare-events regression t-test multiple-regression survival teaching multiple-regression regression self-study t-distribution machine-learning recommender-system self-study binomial standard-deviation data-visualization r predictive-models pearson-r spearman-rho r regression modeling r categorical-data data-visualization ggplot2 many-categories machine-learning cross-validation weka microarray variance sampling monte-carlo regression cross-validation model-selection feature-selection elastic-net distance-functions information-theory r regression mixed-model random-effects-model fixed-effects-model dataset data-mining

2

의미 적 의미를 유지하는 도메인에 구애받지 않는 기능 엔지니어링?

형상 공학은 종종 기계 학습에 중요한 구성 요소입니다 ( 2010 년 KDD 컵 우승에 크게 사용됨 ). 그러나 대부분의 기능 엔지니어링 기술은 기본 기능의 직관적 인 의미를 파괴하거나 특정 도메인 또는 특정 유형의 기능에 매우 구체적입니다. 전자의 전형적인 예는 주성분 분석입니다. 주제 관련 전문가가 해당 기능에 대해 알고있는 지식은 해당 …

12 predictive-models feature-selection feature-construction

2

여러 대상 또는 클래스를 예측 하시겠습니까?

여러 이벤트를 예측하려고하는 예측 모델을 구축한다고 가정합니다 (예 : 주사위 굴림과 동전 던지기). 내가 익숙한 대부분의 알고리즘은 하나의 대상에서만 작동하므로 이런 종류의 표준 접근 방식이 있는지 궁금합니다. 가능한 두 가지 옵션이 있습니다. 아마도 가장 순진한 접근 방식은 단순히 두 가지 다른 문제로 처리 한 다음 결과를 결합하는 것입니다. 그러나 두 …

12 machine-learning classification predictive-models multi-class

2

SVM, 가변 상호 작용 및 교육 데이터 적합

나는 두 가지 일반적인 / 더 이론적 인 질문이 있습니다. 1) 예측 모델을 작성할 때 SVM이 변수 상호 작용을 처리하는 방법이 궁금합니다. 예를 들어, f1과 f2의 두 가지 기능이 있고 목표가 f1, f2에 의존하고 f1 * f2 (또는 일부 함수 h (f1, f2))라고 말하면 SVM이 적합합니까 (OOS뿐만 아니라 훈련 데이터에도) …

12 machine-learning predictive-models svm interaction

«predictive-models» 태그된 질문