통계 및 빅 데이터

최근 데이터를 분석하는 중에 다음과 같은 문제가 발생했습니다. 랜덤 변수 X가 정규 분포를 따르고 Y가 χ2nχn2\chi^2_n 분포 (n dof 포함)를 따르는 경우 Z=X2+Y2Z=X2+Y2Z = X^2 + Y^2 는 어떻게 분포됩니까? 지금까지 나는 의 pdf를 생각해 냈습니다 . ψ 2 n ( x )Y2Y2Y^2ψ2n(x)====∂F(x−−√)∂x(∫x√0tn/2−1⋅e−t/22n/2Γ(n/2)dt)′x12n/2Γ(n/2)⋅(x−−√)n/2−1⋅e−x√/2⋅(x−−√)′x12n/2−1Γ(n/2)⋅xn/4−1⋅e−x√/2ψn2(x)=∂F(x)∂x=(∫0xtn/2−1⋅e−t/22n/2Γ(n/2)dt)x′=12n/2Γ(n/2)⋅(x)n/2−1⋅e−x/2⋅(x)x′=12n/2−1Γ(n/2)⋅xn/4−1⋅e−x/2\begin{eqnarray} \psi^2_n(x) &=& \frac{\partial F(\sqrt{x})}{\partial x} \\ &=& …

14 probability  distributions  normal-distribution  chi-squared  convolution 

나는 경험적 분포로 사용하는 불연속 분포에서 여러 개의 큰 표본이있는 테스트 데이터를 가지고 있습니다. 분포가 실제로 다른지 여부와 실제로 다른 분포에 대한 평균의 차이점은 무엇인지 테스트하고 싶습니다. 그것들은 불연속 분포이기 때문에 기본적으로 지속적인 분포 가정 때문에 Kolmogorov-Smirnov 검정이 유효하지 않다는 것을 이해합니다. 카이-제곱 검정이 분포가 실제로 다른지 여부에 대한 올바른 …

14 chi-squared  kolmogorov-smirnov 

최고의 오픈 소스 데이터 시각화 소프트웨어는 무엇입니까? 다음이 필요합니다. Microsoft Excel에서 데이터를 가져올 수 있습니다 (Oracle 데이터베이스에서 데이터를 가져 오는 것도 좋지만 필수는 아닙니다). 소프트웨어로 생성 된 차트를 Microsoft PowerPoint로 내보낼 수 있습니다 (복사하여 붙여 넣기를해도 괜찮습니다). 오픈 소스 및 사용하기 쉽습니다.

14 data-visualization  excel  software  open-source 

R의 예측 패키지에서 AIC에서 AICc 로의 기본 모델 선택 통계의 최근 변경에 의해 동기가 부여 된 것처럼, 나는 후자가 실제로 어디에서나 적용 가능한지 궁금합니다. 이 점에 대한 일련의 질문이 있으며 여기에 첫 번째 질문이 있습니다. 나는 (1) 에서 번햄과 앤더슨 (비 통계 학자)이 여기 에서 요약 한 바와 같이 잘 …

14 model-selection  references  aic 

에서 위키 , 스피어 만 순위 상관이 변환 변수에 의해 계산된다 XiXiX_i 및 YiYiY_i 기록 변수로 xixix_i 및 yiyiy_i 변수 순위 간의 피어슨 상관을 계산 한 후,과 : 그러나 기사는 변수 XiXiX_i 와 사이에 관계가 없으면 YiYiY_i위의 공식은 다음과 같습니다. 여기서 di=yi−xidi=yi−xid_i = y_i - x_i 이면 순위 차이입니다. 누군가 …

14 correlation  proof  spearman-rho 

나는 이것이 통계적으로 약간 끈적 거리는 것을 알고 있지만 이것이 내 문제입니다. 변수의 최소, 최대 및 샘플 크기를 말하는 많은 범위 데이터가 있습니다. 이러한 데이터 중 일부에는 평균도 있지만 많지는 않습니다. 각 범위의 변동성을 수량화하고 평균을 비교하기 위해 이러한 범위를 서로 비교하고 싶습니다. 분포가 평균 주위에 대칭이고 데이터에 가우시안 분포가 …

14 r  normal-distribution  estimation  missing-data  order-statistics 

나는 현재 일부 작업을 검토하고 있으며 다음과 같은 문제를 겪었습니다. lmer을 사용하여 두 가지 혼합 모델이 R로 장착됩니다. 모형은 중첩되지 않으며 우도 비 검정으로 비교됩니다. 요컨대, 내가 가진 것의 재현 가능한 예는 다음과 같습니다. set.seed(105) Resp = rnorm(100) A = factor(rep(1:5,each=20)) B = factor(rep(1:2,times=50)) C = rep(1:4, times=25) m1 = …

14 r  lme4-nlme  likelihood-ratio  nested-models 

쿠폰 수집기 문제의 변형에서, 쿠폰 수를 모르고 데이터를 기반으로이를 결정해야합니다. 이것을 포춘 쿠키 문제라고합니다. 알 수없는 별개의 포춘 쿠키 메시지 주어지면 한 번에 하나씩 쿠키를 샘플링하고 각 포춘이 몇 번 나타나는지 계산하여 을 추정하십시오 . 또한이 추정치에서 원하는 신뢰 구간을 얻는 데 필요한 샘플 수를 결정하십시오.엔엔n엔엔n 기본적으로 내가 샘플 충분한 …

14 estimation  coupon-collector-problem 

신뢰 구간 에 대한 Wikipedia 페이지에서 : ... 반복 된 (그리고 아마도 다른) 실험에 대한 많은 별도의 데이터 분석에서 신뢰 구간이 구성된 경우 매개 변수의 실제 값을 포함하는 이러한 구간의 비율은 신뢰 수준과 일치합니다. 그리고 같은 페이지에서 : 신뢰 구간은 모수의 실제 값이 실제로 얻은 데이터를 감안할 때 신뢰 구간에있을 …

14 bayesian  confidence-interval 

6 가지 범주를 구분하기 위해 Random Forest로 분류 모델을 훈련하고 있습니다. 내 거래 데이터에는 약 60k 이상의 관측치와 35 개의 변수가 있습니다. 다음은 대략 어떻게 보이는지에 대한 예입니다. _________________________________________________ |user_id|acquisition_date|x_var_1|x_var_2| y_vay | |-------|----------------|-------|-------|--------| |111 | 2013-04-01 | 12 | US | group1 | |222 | 2013-04-12 | 6 | PNG …

14 r  machine-learning  classification  random-forest 

연속적이고 일차원 적 인 100 점의 샘플이 있습니다. 커널 메소드를 사용하여 비모수 밀도를 추정했습니다. 이 추정 분포에서 무작위 표본을 추출하려면 어떻게해야합니까?

14 r  sampling  kernel-smoothing 

나는 학술 저널 기사를 검토하고 저자는 추론 통계를보고하지 않은 것에 대한 정당화로 다음을 썼습니다 (나는 두 그룹의 본질을 알지 못했습니다). 총 2,349 명 (1.1 %)의 25 명은 X를 보고했습니다 . 우리는 그룹 X 와 그룹 Y (다른 2,324 명 참여자) 를 통계적으로 비교하는 분석을 제시하지 않는 것이 적절 하다. 내 …

14 hypothesis-testing  sample-size  power-analysis  power  group-differences 

아래 그래프에 표시된 결과를 이해하려고합니다. 일반적으로 Excel을 사용하고 선형 회귀선을 얻는 경향이 있지만 아래의 경우 R을 사용하고 다음 명령으로 다항식 회귀를 얻습니다. ggplot(visual1, aes(ISSUE_DATE,COUNTED)) + geom_point() + geom_smooth() 그래서 내 질문은 이것으로 요약됩니다. 파란색 회귀선 주위의 회색 영역 (화살표 # 1)은 무엇입니까? 다항식 회귀 분석의 표준 편차입니까? 회색 영역 (화살표 …

14 r  regression  data-visualization  outliers 

랜덤 포레스트는 원래 훈련 데이터의 부트 스트랩 샘플 (입력 변수와 관측 값의 샘플)을 사용하여 각 트리가 생성되는 의사 결정 트리의 앙상블을 만들어 작동합니다. 선형 회귀 분석에 유사한 프로세스를 적용 할 수 있습니까? 각 k 회귀에 대해 랜덤 부트 스트랩 샘플을 사용하여 k 선형 회귀 모델 생성 모형과 같은 "무작위 회귀"를 …

14 regression  predictive-models  ensemble 

오늘 저는 p- 값 0.05 (정확히)가 유의미한 지 (알파 = 5 %) 고려되는지 물었습니다. 나는 답을 알지 못했고 Google은 두 가지 대답을 모두 제시했다. 물론,이 웹 사이트들 중 어느 누구도 인용하지 않았습니다. 왜 하나-일반적인 지식이며 5 %는 어쨌든 임의적입니다. 그러나 그것은 학생들에게 기억해야 할 것을 말하는 데 도움이되지 않습니다. 따라서 …

14 hypothesis-testing  statistical-significance  p-value