통계 및 빅 데이터 outliers

1

주간 계절성을 가진 상당히 예측 가능한 일일 시계열이 있습니다. 휴일이 없을 때 꽤 정확한 예측 (교차 유효성 확인으로 확인)을 제시 할 수 있습니다. 그러나 휴일이있을 때 다음과 같은 문제가 있습니다. 모든 역사적 공휴일이 0이지만 내 예측에 공휴일의 숫자가 0이 아닙니다. 이것은 실제로 주요한 문제는 아닙니다. 문제는 ... 공휴일에 발생하지 않는 …

12 time-series forecasting arima outliers

3

부스팅 방법이 특이 치에 민감한 이유

부스팅 방법이 특이 치에 민감하다는 내용의 많은 기사를 찾았지만 그 이유를 설명하는 기사는 없습니다. 내 경험상 특이 치는 기계 학습 알고리즘에 좋지 않지만 부스팅 방법이 특히 민감한 것으로 분류되는 이유는 무엇입니까? 부스트 트리, 랜덤 포레스트, 신경망, SVM 및 로지스틱 회귀 분석과 같은 간단한 회귀 분석 방법은 특이 치에 대한 민감도 …

12 machine-learning svm outliers cart boosting

4

특이 치를 제거하기에 좋은 형태?

소프트웨어 빌드 통계를 작성 중입니다. 통과 / 실패 및 경과 시간에 대한 각 빌드에 대한 데이터가 있으며 주당 ~ 200 개를 생성합니다. 성공률은 집계하기 쉽습니다. 45 %가 특정 주에 통과했다고 말할 수 있습니다. 그러나 경과 시간도 집계하고 싶습니다. 데이터를 너무 잘못 표시하지 않도록하고 싶습니다. 나는 프로에게 더 잘 물어 볼 …

12 outliers robust average

3

이상 감지를위한 결 측값이있는 시계열의 STL

관측치가 누락 된 일련의 기후 데이터에서 이상 값을 감지하려고합니다. 웹을 검색하면서 사용 가능한 많은 접근 방법을 찾았습니다. 이 중 stl 분해는 추세와 계절 성분을 제거하고 나머지를 연구한다는 의미에서 매력적입니다. 읽기 STL : 황토에 계절 - 트렌드 분해 절차 기반은 , stl누락 된 값에도 불구하고 적용 할 이상치의 영향을받지 가능한 가변성을 …

12 r time-series outliers missing-data

1

R-자유도에서 PROC Mixed과 lme / lmer의 차이점

참고 :이 질문은 법적 이유로 인해 이전 질문을 삭제해야했기 때문에 다시 게시되었습니다. SAS의 PROC MIXED를 R lme의 nlme패키지 기능과 비교하는 동안 다소 혼란스러운 차이점을 발견했습니다. 구체적으로는, 다른 시험에서 자유도간에 상이 PROC MIXED하고 lme, 그리고 왜 생각해. 다음 데이터 세트에서 시작하십시오 (아래 제공된 R 코드). ind : 측정 대상을 나타내는 계수 …

12 r mixed-model sas degrees-of-freedom pdf unbiased-estimator distance-functions functional-data-analysis hellinger time-series outliers c++ relative-risk absolute-risk rare-events regression t-test multiple-regression survival teaching multiple-regression regression self-study t-distribution machine-learning recommender-system self-study binomial standard-deviation data-visualization r predictive-models pearson-r spearman-rho r regression modeling r categorical-data data-visualization ggplot2 many-categories machine-learning cross-validation weka microarray variance sampling monte-carlo regression cross-validation model-selection feature-selection elastic-net distance-functions information-theory r regression mixed-model random-effects-model fixed-effects-model dataset data-mining

3

매우 작은 세트의 이상치 탐지

12 개의 샘플 광도 값이 주어지면 주로 안정적인 광원의 밝기 값을 최대한 정확하게 얻어야합니다. 센서가 불완전하고 빛이 때때로 "깜박 거리며"밝거나 어두워 지므로 무시할 수 있습니다. 따라서 이상치 탐지가 필요합니다. 나는 다양한 접근 방식을 읽었으며 어떤 접근 방식을 결정할 수 없습니다. 특이 치의 수는 미리 알려져 있지 않으며 종종 0입니다. 플리커는 …

12 classification outliers algorithms

4

시계열에서의 이상치 탐지 : 오 탐지를 줄이는 방법은 무엇입니까?

시계열에서 이상치 탐지를 자동화하려고하는데 여기에서 Rob Hyndman이 제안한 솔루션 수정을 사용했습니다 . 여러 국가의 웹 사이트 방문을 매일 측정합니다. 일일 방문이 몇 번 또는 몇 천 번인 일부 국가의 경우 내 방법이 합리적으로 작동하는 것 같습니다. 그러나 국가가 하루에 1 ~ 2 회 방문으로 이어지는 경우 알고리즘의 한계가 매우 좁아서 …

11 time-series outliers computational-statistics

1

첨도의 강력한 추정?

첨도에 대해 일반적인 추정량 인 하고 있지만 경험적 분포에서 작은 '이상 값'도 발견했습니다. 즉, 중심에서 멀리 떨어진 작은 봉우리가 엄청나게 영향을 미칩니다. 보다 강력한 첨도 추정기가 있습니까?케이^= μ^4σ^4케이^=μ^4σ^4\hat{K}=\frac{\hat{\mu}_4}{\hat{\sigma}^4}

11 outliers robust moments kurtosis

2

일반화 선형 혼합 모델 : 진단

임의의 가로 채기 로지스틱 회귀 분석 (반복 된 측정으로 인해)이 있으며 특이 치 및 영향력있는 관측에 관한 진단을하고 싶습니다. 눈에 띄는 관측치가 있는지 알아보기 위해 잔차를 살펴 보았습니다. 그러나 나는 또한 Cook의 거리 또는 DFFITS와 같은 것을보고 싶습니다. Hosmer와 Lemeshow (2000)는 상관 된 데이터에 대한 모델 진단 도구가 없기 때문에 …

11 mixed-model outliers glmm cooks-distance

2

특이 치를 탐지하기위한 IQR의 정확도

프로세스의 실행 시간을 분석하는 스크립트를 작성 중입니다. 배포가 확실하지 않지만 프로세스가 "너무 오래"실행되고 있는지 알고 싶습니다. 지금까지 마지막 실행 시간 (n> 30)의 3 표준 편차를 사용했지만 데이터가 정상이 아닌 경우 (그렇지 않은 것으로 보이는 경우) 유용한 것을 제공하지 않는다고 들었습니다. 나는 다른 이상치 테스트를 발견했다. 사 분위 간 범위 (IQR …

11 outliers reliability average

1

이상 감지를위한 자동 기능 선택

이상 감지를위한 기능을 자동으로 선택하는 가장 좋은 방법은 무엇입니까? 어떤 중요한 것은 출력입니다 : 나는 일반적으로 기능이 인간의 전문가들에 의해 선택 알고리즘으로 변형 탐지 치료 범위 너무도 많은 기능을 당신은 - ( "이상 출력 이상 입력"에서와 같이) 할 수 있습니다 결합하여 훨씬 작은 부분 집합을 마련 특징. 그러나 일반적으로 기능 …

11 feature-selection outliers

3

평균 GPS 포인트 찾기

포인트 집단에서 평균 GPS 포인트를 찾기위한 프로그램을 작성해야합니다. 실제로 다음이 발생합니다. 매달 사람은 동일한 정적 자산의 GPS 포인트를 기록합니다. GPS의 특성상이 점들은 매달 약간 씩 다릅니다. 때로는 사람이 완전히 다른 위치에서 잘못된 주장을 잘못 기록하는 경우가 있습니다. 각 GPS 포인트에는 현재 GPS 데이터의 정확도를 나타내는 확실성 가중치 ( HDOP )가 …

11 outliers spatial

2

회귀를 이용한 이상치 탐지

이상치 탐지에 회귀를 사용할 수 있습니다. 특이 치를 제거하여 회귀 모형을 개선 할 수있는 방법이 있음을 이해합니다. 그러나 여기서의 기본 목표는 회귀 모델에 적합하지 않고 회귀를 사용하여 liers를 찾는 것입니다.

11 regression outliers

6

비선형 회귀 분석을위한 특이 치 식별

진드기의 기능적 반응 분야에 대한 연구를하고 있습니다. Rogers 유형 II 함수의 매개 변수 (공격 속도 및 처리 시간)를 추정하기 위해 회귀 분석을 수행하려고합니다. 측정 데이터 세트가 있습니다. 특이 치를 가장 잘 결정할 수있는 방법은 무엇입니까? 합니다 (dateset라는 간단한 2 열 텍스트 파일로 내 회귀를 위해 나는 R에 다음 스크립트 (비 …

11 r outliers nonlinear-regression

3

데이터 전처리 및 이상치 탐지 기술을 다루는 훌륭한 책

제목이 올라 가면서, 일반적으로 데이터 전처리, 특히 이상치 탐지 기술을 다루는 최신의 좋은 책을 아는 사람이 있습니까? 이 책은 그것에 독점적으로 초점을 맞출 필요는 없지만 앞에서 언급 한 주제를 철저히 다루어야합니다. 나는 시작점에 만족하지 않고 논문 목록을 인용하며 다양한 기술에 대한 설명이 책 자체. 누락 된 데이터를 처리하는 기술이 바람직하지만 …

11 dataset data-mining references outliers

«outliers» 태그된 질문