통계 및 빅 데이터

Box and Whisker 그림에 대한 특이 표준 정의는 범위를 벗어난 점입니다. 여기서 및 은 첫 번째 사 분위수 및 데이터의 3 분위입니다.{Q1−1.5IQR,Q3+1.5IQR}{Q1−1.5IQR,Q3+1.5IQR}\left\{Q1-1.5IQR,Q3+1.5IQR\right\}IQR=Q3−Q1IQR=Q3−Q1IQR= Q3-Q1Q1Q1Q1Q3Q3Q3 이 정의의 기초는 무엇입니까? 점이 많으면 완전 정규 분포라도 특이 치를 반환합니다. 예를 들어 시퀀스로 시작한다고 가정합니다. xseq<-seq(1-.5^1/4000,.5^1/4000, by = -.00025) 이 시퀀스는 4000 포인트의 백분위 수 …

17 outliers  normality-assumption  qq-plot  boxplot 

및 의 두 개의 독립적 인 Bernoulli 랜덤 변수 샘플이 있다고 가정합니다 .Ber(θ1)Ber(θ1)\mathrm{Ber}(\theta_1)Ber(θ2)Ber(θ2)\mathrm{Ber}(\theta_2) 우리는 어떻게 입증 할 그 ?(X¯1−X¯2)−(θ1−θ2)θ1(1−θ1)n1+θ2(1−θ2)n2−−−−−−−−−−−−−−√→dN(0,1)(X¯1−X¯2)−(θ1−θ2)θ1(1−θ1)n1+θ2(1−θ2)n2→dN(0,1)\frac{(\bar X_1-\bar X_2)-(\theta_1-\theta_2)}{\sqrt{\frac{\theta_1(1-\theta_1)}{n_1}+\frac{\theta_2(1-\theta_2)}{n_2}}}\xrightarrow{d} \mathcal N(0,1) 라고 가정하십시오 .n1≠n2n1≠n2n_1\neq n_2

17 distributions  sampling  bernoulli-distribution 

나는 대략 24에 해당하는 움직임 행동 (자고있는 시간, 앉아있는 시간, 신체 활동을하는 시간)에 대한 데이터를 가지고 있습니다 (하루에 시간 단위로). 이러한 각 동작에 소요되는 상대적 시간을 캡처하는 변수를 만들고 싶습니다. 아이소 메트릭 로그 비율 변환이이 작업을 수행한다고 들었습니다. R에서 ilr 함수를 사용해야하는 것처럼 보이지만 코드가있는 실제 예제는 찾을 수 없습니다. …

17 r  multivariate-analysis  data-transformation  compositional-data 

당신과 저는 동전을 뒤집는 게임을하기로 결정했습니다. 총 10 헤드를 뒤집은 첫 번째 플레이어가 게임에서 승리합니다. 당연히 누가 먼저 가야하는지에 대한 논쟁이 있습니다. 이 게임의 시뮬레이션에 따르면 첫 번째로 뒤집는 플레이어는 두 번째로 뒤집는 플레이어보다 6 % 더 많이 이깁니다 (첫 번째 플레이어는 약 53 %의 시간을 이깁니다). 나는 이것을 분석적으로 …

17 probability  python  binomial  negative-binomial 

여기에 정의 된 파란색 영역에서 샘플을 생성하고 싶습니다. 순진한 솔루션은 단위 제곱에서 거부 샘플링을 사용하는 것이지만 이는 1−π/41−π/41-\pi/4 (~ 21.4 %) 효율 만 제공합니다. 더 효율적으로 샘플링 할 수있는 방법이 있습니까?

17 probability  sampling  monte-carlo  random-generation 

콕스 비례 위험 모델에 대해 배웠습니다. 로지스틱 회귀 모형에 적합한 경험이 많으므로 직관을 구축하기 위해 coxphR "survival"에서 사용 glm하는 모형을로 사용 하는 로지스틱 회귀 모형 과 비교했습니다 family="binomial". 코드를 실행하면 : library(survival) s = Surv(time=lung$time, event=lung$status - 1) summary(coxph(s ~ age, data=lung)) summary(glm(status-1 ~ age, data=lung, family="binomial")) 나는 각각 0.0419와 …

17 r  logistic  survival  cox-model  power 

드롭 아웃 을 설명 할 반 페이지가 있다면 어떻게 진행 하시겠습니까? 이 기술의 근거는 무엇입니까?

17 neural-networks  deep-learning  regularization  dropout 

편향된 평균에 대한 MLE 추정기의 예를 제공 할 수 있습니까? 규칙적 조건을 위반하여 일반적으로 MLE 추정기를 위반하는 예를 찾고 있지 않습니다. 인터넷에서 볼 수있는 모든 예제는 분산을 참조하며 평균과 관련된 것을 찾을 수없는 것 같습니다. 편집하다 @MichaelHardy는 특정 제안 모델에서 MLE를 사용하여 균일 분포 평균의 편향 추정값을 얻는 예제를 제공했습니다. …

17 maximum-likelihood  mean  bias 

k가 2 차원으로 분할 된 의사 결정 트리 의 VC 차원 은 무엇입니까 ? 모델이 CART이고 허용되는 분할이 축과 평행하다고 가정 해 봅시다. 따라서 한 번의 분할 에 대해 삼각형으로 3 개의 점을 정렬 한 다음 점의 레이블을 지정하면 완벽한 예측을 얻을 수 있습니다 (예 : 산산조각이 난 점) 그러나 …

17 cart  vc-dimension 

고정 합을 갖는 조건부 샘플을 시뮬레이션하는 질문에 대한이 Cross Validated 질문 은 George Casella 가 저에게 설정 한 문제를 상기 시켰습니다 . 파라 메트릭 모델 와이 모델의 iid 샘플 인 이 주어지면 의 MLE은 주어진 값에 대해 iid 샘플을 시뮬레이션하는 일반적인 방법이 있습니까 (X_1, \ ldots, X_n) MLE \ hat …

17 maximum-likelihood  conditional-probability  random-variable  simulation  t-distribution 

벡터 표준의 경우 L2 표준 또는 "유클리드 거리"가 널리 사용되며 직관적 인 정의입니다. 그러나 왜 행렬에 "가장 많이 사용 된"또는 "기본"규범 정의가 스펙트럼 규범 이지만 Frobenius 규범 (벡터의 경우 L2 규범과 유사)이 아닌가? 그것은 반복 알고리즘 / 행렬 파워와 관련이 있습니까 (스펙트럼 반경이 1보다 작 으면 알고리즘이 수렴합니다)? "가장 많이 …

17 matrix  linear-algebra 

나는 "차원의 저주"가 무엇인지 이해하고 높은 차원의 최적화 문제를 수행했으며 지수 가능성의 도전을 알고 있습니다. 그러나 "차원의 저주"가 대부분의 실제 데이터에 존재하는지 의심합니다. 이미지 나 비디오를 잠시 남겨두고 고객 인구 통계 및 구매 행동 데이터와 같은 데이터에 대해 생각하고 있습니다. 수천 개의 지형지 물로 데이터를 수집 할 수 있지만 지형지 …

17 clustering  dimensionality-reduction  high-dimensional 

나는 Wikipedia에서 Jeffreys에 대해 읽었습니다 : Jeffreys Prior 는 각 예제 후에 분산 안정화 변환이 Jeffreys를 이전에 균일하게 만드는 방법을 설명합니다. 예를 들어, Bernoulli 사례의 경우 확률이 γ∈[0,1]γ∈[0,1]\gamma \in [0,1] 인 동전의 경우 Bernoulli 시험 모델은 매개 변수에 대한 Jeffreys 이전의 결과를 나타냅니다 .γγ\gamma p(γ)∝1γ(1−γ)−−−−−−−√p(γ)∝1γ(1−γ) p(\gamma) \propto \frac{1}{\sqrt{\gamma ( 1-\gamma)}} …

17 bayesian  prior  jeffreys-prior 

범주 형 변수 예측 변수와 연속 형 예측 변수가있는 LASSO를 실행하고 있습니다. 범주 형 변수에 대한 질문이 있습니다. 내가 이해하는 첫 번째 단계는 각각을 인형으로 나누고 공정한 처벌을 위해 표준화 한 다음 회귀하는 것입니다. 더미 변수를 처리하기위한 몇 가지 옵션이 있습니다. 각 요인에 대해 모형 중 하나만 제외하고 모두 포함 …

17 categorical-data  regression-coefficients  lasso  intercept  categorical-encoding 

이 질문은 주제 I과 관련하여 가능한 혼란을 없애기위한 후속 조치 또는 시도이며, 많은 사람들이 AIC와 BIC의 차이점에 대해 조금 어려워합니다. 이 주제에 대한 @Dave Kellen의 매우 좋은 답변 ( /stats//a/767/30589 )에서 우리는 다음을 읽습니다. 귀하의 질문은 AIC와 BIC가 동일한 질문에 대답하려고 시도한다는 것을 암시합니다. AIC는 알려지지 않은 높은 차원의 현실을 …

17 model-selection  aic  bic