통계 및 빅 데이터

참고 : 이제 50 포인트의 원시 데이터가 첨부되었습니다. 일주일에 몇 주 동안 공부를했는지, 그리고 일주일 내내 얼마나 많은 페이지를 완료했는지를 보여 드리고자합니다. 사람들에게 그래프를 이해할 수 없다고 말하게했지만 그래프를 표시 할 수있는 방법을 모릅니다. 누적 묘사없이 본질적으로 3 차원이 필요하기 때문에. 몇 주 후에 그래프를 읽을 수 없게되므로 수많은 선 …

15 data-visualization 

최근 에 확률 질문 중 하나 인 다음과 같은 데이터 과학 인터뷰 리소스 를 구입했습니다 . 알려진 모수를 가진 정규 분포에서 추출한 경우 균일 분포에서 추출을 어떻게 시뮬레이션 할 수 있습니까? 원래의 생각 과정은 불연속 랜덤 변수의 경우 각 분포가 정규 곡선 아래에서 동일한 면적을 갖는 K 개의 고유 한 …

15 self-study  normal-distribution  simulation  uniform 

혼합 효과 모델에서는 모든 가능한 수준 (예 : 남성과 여성 모두)이 포함 된 경우 고정 효과를 사용하여 매개 변수를 추정하는 것이 좋습니다. 포함 된 수준이 모집단의 무작위 표본 (가능한 환자의 우주에서 등록 된 환자)이고 평균 대신 모집단 평균 및 분산을 추정하려는 경우 무작위 효과를 사용하여 변수를 설명하는 것이 좋습니다. 개별 …

15 mixed-model  random-effects-model  fixed-effects-model  many-categories 

내가 본 것에서, (2 차) Kneser-Ney 평활화 공식은 어떤 식 으로든 또는 다른 식으로 주어집니다. P2KN(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn)PKN2(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn) \begin{align} P^2_{KN}(w_n|w_{n-1}) &= \frac{\max \left\{ C\left(w_{n-1}, w_n\right) - D, 0\right\}}{\sum_{w'} C\left(w_{n-1}, w'\right)} + \lambda(w_{n-1}) \times P_{cont}(w_n) \end{align} 정규화 인자 λ(wn−1)λ(wn−1)\lambda(w_{n-1}) 로 주어 λ(wn−1)=D∑w′C(wn−1,w′)×N1+(wn−1∙)λ(wn−1)=D∑w′C(wn−1,w′)×N1+(wn−1∙) \begin{align} \lambda(w_{n-1}) &= \frac{D}{\sum_{w'} C\left(w_{n-1}, w'\right)} \times N_{1+}\left(w_{n-1}\bullet\right) \end{align} 단어 w_n …

15 machine-learning  natural-language  naive-bayes  smoothing  language-models 

iTunes와 YouTube에서 찾을 수있는 Harvard의 Statistics 110 : Probability 과정 의 비디오 강의 에서이 문제 가 발생 했습니다. 여기에 요약하려고했습니다. 표준 데크에서 무작위로 2 장의 카드를받습니다. 우리가 하나 이상의 에이스를 가졌을 때 두 카드가 에이스 일 확률은 얼마입니까? P(both aces|have ace)=P(both aces,have ace)P(have ace)P(both aces|have ace)=P(both aces,have ace)P(have ace) P(both\ …

15 probability  conditional-probability  intuition 

\newcommand{\E}{\mathbb{E}} 방법 인 정규화는 지수 가족 변환 유래? A ( ⋅ ) = ∫ d uV 1 / 3 ( μ )A(⋅)=∫duV1/3(μ)A(\cdot) = \displaystyle\int\frac{du}{V^{1/3}(\mu)} 더 구체적으로 : 나는 3 페이지의 Taylor 확장 스케치를 따르려고 노력했지만 여기에 슬라이드 1 이 있지만 몇 가지 질문이 있습니다. 함께 엑스XX 지수 가족, 변환 h …

15 data-transformation  residuals  asymptotics  exponential-family 

크기가 다르지만 (200 개 이상) 사용자 참여 (예 : 게시물 수)에 대한 고도로 치우친 (지수 분포처럼 보이는) 데이터 집합의 샘플이 있으며 평균을 비교하고 싶습니다. 이를 위해, 나는 2- 표본 쌍을 이루지 않은 t- 검정 (및 표본이 다른 분산을 가질 때 Welch 's factor를 사용한 t- 검정)을 사용하고 있습니다. 내가 들었 …

15 hypothesis-testing  t-test  nonparametric  mean  skewness 

나는 X와 Y의 두 변수를 가지고 클러스터를 최대 (및 최적) = 5로 만들어야합니다. 변수의 이상적인 플롯은 다음과 같습니다. 이 클러스터를 5 개 만들고 싶습니다. 이 같은: 따라서 이것이 5 개의 군집을 가진 혼합 모형이라고 생각합니다. 각 군집에는 중심점이 있고 그 주위에 신뢰 원이 있습니다. 클러스터는 항상 이와 같은 것은 아니며 …

15 r  clustering  gaussian-mixture 

원래 질문 (7/25/14) : 뉴스 매체에서 인용 한이 말이 의미가 있거나 최근의 비행기 사고의 부분을보다 잘 통계적으로 볼 수있는 방법이 있습니까? 그러나 Barnett은 Poisson 분포 이론에주의를 기울입니다. 이는 충돌 간의 짧은 간격이 실제로 긴 충돌보다 더 가능성이 있음을 의미합니다. 바넷은“연간 평균 1 건의 치명적인 사고가 발생한다고 주장했다. 이는 하루 중 …

15 probability  poisson-distribution 

두 개의 데이터 집합이 있으며 데이터가 크게 다른지 여부를 알고 싶습니다 ( " 두 그룹이 크게 다릅니다? 테스트 사용 "에서 비롯됨 ). R에서 다음을 수행하여 순열 테스트를 사용하기로 결정했습니다. permutation.test <- function(coding, lncrna) { coding <- coding[,1] # dataset1 lncrna <- lncrna[,1] # dataset2 ### Under null hyphotesis, both datasets …

15 p-value  permutation-test 

나는 갈 수 있는지 여부를 확인하려 능선 회귀 , LASSO , 주성분 회귀 (PCR), 또는 부분 최소 제곱 변수 / 기능 (의 수가 많은 경우 상황에서 (PLS) ppp ) 및 샘플의 작은 수 ( n<pn<pn np>10np>10np>10n 변수 ( 및 Y )는 서로 다른 각도로 서로 관련 되어 있습니다.XXXYYY 내 질문은이 …

15 regression  pca  lasso  ridge-regression  partial-least-squares 

단측 KS 테스트를 수행하는 것이 의미가 있고 가능합니까? 그러한 검정의 귀무 가설은 무엇입니까? 아니면 KS 테스트는 본질적으로 양측 테스트입니까? 나는 날의 분포를 이해하는 데 도움 답변에서 도움이 될 D 예를 들어 있으며, 내가 메시의 1951 종이를 통해 일 오전 (와 도전에 대한 설명을 찾을 과 차이의 supremum 상하 한 경험적 …

15 hypothesis-testing  goodness-of-fit  kolmogorov-smirnov 

필자는 일부 데이터의 정규성에 문제가 있습니다 .P = .0000에서는 정상적이지 않다고 말하는 Kolmogorov 테스트를 수행했지만 이해하지 못합니다. 첨도 = -0,024 다음은 매우 평범한 내 분포 그림입니다. (저는 세 개의 점수를 가지고 있으며이 점수의 각 점수는 Kolmogorov 테스트에서 유의 한 p- 값으로 정상적이지 않습니다 ... 정말 이해가 안됩니다)

15 normal-distribution  spss  kolmogorov-smirnov  histogram  qq-plot 

통계 및 기계 학습 용어에 대한 참조 동의어 사전이 있습니까? Wikipedia 기사에 종종 동의어가 포함되어 있음을 알고 있지만, 모든 전문 용어를 알고 있는지 확인하기 위해 쉽게 읽을 수있는 단순한 동의어 사전 (전체 백과 사전)을 갖고 싶습니다.

15 machine-learning  terminology 

이 분산 데이터에 대해 회귀 분석을 시도하고 있는데, 여기서 선형 편차로 평균 오차뿐만 아니라 오차 분산도 예측 하려고합니다 . 이 같은: 와이( x , t )ξ( x , t )와이¯( x , t )σ( x , t )= y¯( x , t ) + ξ(x,t),∼N(0,σ(x,t)),=y0+ax+bt,=σ0+cx+dt.y(x,t)=y¯(x,t)+ξ(x,t),ξ(x,t)∼N(0,σ(x,t)),y¯(x,t)=y0+ax+bt,σ(x,t)=σ0+cx+dt.\begin{align}\\ y\left(x,t\right) &= \bar{y}\left(x,t\right)+\xi\left(x,t\right),\\ \xi\left(x,t\right) &\sim …

15 regression  spss  variance  residuals  heteroscedasticity