통계 및 빅 데이터

그래서 나는 훌륭한 책인 Empirical Bayes를 읽었습니다 . 나는 그 책이 훌륭하다고 생각했지만, 데이터로부터 사전 구축은 잘못되었다고 느꼈다. 분석 계획을 세우고 데이터를 수집 한 다음 분석 계획에서 이전에 결정한 가설을 테스트하도록 훈련했습니다. 이미 수집 한 데이터에 대한 분석을 수행 할 때 "유의 한"항목에 ​​대해 훨씬 더 엄격해야하는 선택 후 추론을 …

24 machine-learning  hypothesis-testing  bayesian  empirical-bayes 

음 이항 (NB) 분포 는 음이 아닌 정수로 정의되며 확률 질량 함수 k \ in \ mathbb N_0 을 x \ in \ mathbb R _ {\ ge 0}로f(k;r,p)=(k+r−1k)pk(1−p)r.f(k;r,p)=(k+r−1k)pk(1−p)r.f(k;r,p)={\binom {k+r-1}{k}}p^{k}(1-p)^{r}. 바꾸는 음이 아닌 실수에 대한 연속 분포를 고려하는 것이 합리적 입니까? 이항 계수는 (k + 1) \ cdot \ ldots …

24 distributions  negative-binomial  count-data  continuous-data  bioinformatics 

나는 Quantile 회귀를 이해하려고 노력하고 있지만, 고통받는 한 가지는 손실 함수의 선택입니다. ρτ(u)=u(τ−1{u&lt;0})ρτ(u)=u(τ−1{u&lt;0})\rho_\tau(u) = u(\tau-1_{\{u<0\}}) 나는 의 최소 ​​기대치가 τ % -quantile 과 같다는 것을 알고 있지만,이 기능으로 시작하는 직관적 인 이유는 무엇입니까? 이 기능을 최소화하는 것과 Quantile의 관계는 보이지 않습니다. 누군가 나에게 설명 할 수 있습니까?ρτ(y−u)ρτ(y−u)\rho_\tau(y-u)τ%τ%\tau\%

24 quantiles  loss-functions  quantile-regression 

당 이 와 이 대답 autoencoders는 차원 감소를 위해 신경 네트워크를 사용하는 기술이 될 것으로 보인다. 또한 가변 자동 인코더 ( "기존"자동 인코더에 대한 주요 차이점 / 이점)와이 알고리즘이 사용되는 주요 학습 작업이 무엇인지 알고 싶습니다.

24 machine-learning  bayesian  deep-learning  autoencoders  variational-bayes 

나는 예측 모델링과 관련하여 혼합 모델의 장점에 대해 약간 혼란 스럽습니다. 예측 모델은 일반적으로 이전에 알려지지 않은 관측치의 값을 예측하기위한 것이기 때문에 혼합 모델이 유용 할 수있는 유일한 방법은 모집단 수준 예측 (임의의 효과를 추가하지 않음)을 제공하는 기능을 통해서만 가능하다는 것입니다. 그러나 문제는 지금까지 혼합 모형을 기반으로 한 인구 수준 …

24 mixed-model  predictive-models 

저는 Deep Learning 의 Adam 최적화 프로그램에 대해 읽었으며 Bengio, Goodfellow 및 Courville 의 새 책 Deep Learning 에서 다음 문장 을 보았습니다. Adam은 일반적으로 학습 매개 변수를 제안 된 기본값에서 변경해야하지만 하이퍼 매개 변수를 선택하는 데 상당히 강력한 것으로 간주됩니다. 이것이 사실이라면 하이퍼 파라미터 검색은 딥 러닝 시스템의 통계 …

24 neural-networks  deep-learning  optimization  hyperparameter  adam 

의사 결정 트리 데이터 구조와 알고리즘을 누가 발명했는지 추적하려고합니다. 의사 결정 트리 학습 에 관한 Wikipedia 항목 에는 "ID3과 CART가 거의 동시에 (1970 년에서 1980 년 사이) 독립적으로 발명되었다"는 주장이 있습니다. ID3은 나중에 다음과 같이 제시되었습니다. Quinlan, JR 1986. 의사 결정 나무의 유도. 마하 배우다. 1, 1 (1986 년 3 …

24 cart  history 

유익하지 않은 선행에 대한 베이지안 통계 과정 (경제학 석사)에 대한 짧은 이론 에세이를 작성하고 있으며이 이론의 발전 단계를 이해하려고합니다. 지금까지, 타임 라인은 Laplace의 무차별 원칙 (1812), 비 변치 이전 (Jeffreys (1946)), Bernardo 이전 (1979)의 세 가지 주요 단계로 이루어졌습니다. 저의 문헌 검토에서, 무차별 원칙 (Laplace)은 이전 정보의 부족을 나타내는 데 …

24 bayesian  references  prior  history 

통계에 대한 나의 총체적인 (그리고 부족한) 지식이 허용되는 한, 이 iid 랜덤 변수 , 용어가 암시하는 것처럼 그것들은 독립적이고 동일하게 분포된다는 것을 이해했습니다.X1,X2,...,XnX1,X2,...,XnX_1, X_2,..., X_n 내 관심사는 iid 샘플의 이전 속성입니다. p(Xn|Xi1,Xi2,...,Xik)=p(Xn),p(Xn|Xi1,Xi2,...,Xik)=p(Xn),p(X_{n}|X_{i_1},X_{i_2},...,X_{i_k}) = p(X_{n}), 별개의 's st .ijiji_j1≤ij&lt;n1≤ij&lt;n1 \leq i_j < n 그러나 동일한 분포의 독립적 인 표본의 집합이 분포 …

24 sampling  conditional-probability  independence 

이 질문에 대한 영감은 Leo-Breiman의 유명한 기사 Statistical Modeling : The Two Cultures (사용 가능한 공개 액세스) 에서 비롯됩니다 . 저자는 자신이보고있는 것을 데이터 분석에 대한 두 가지 다른 접근 방식으로 비교하고 고전 통계 및 기계 학습의 핵심 아이디어를 만집니다. 그러나이 기사는 의사 수준에서 통계를 추구했는지 또는 입문 과정을 밟았는지 …

24 references 

이것은 되풀이되는 질문이지만 ( 이 게시물 , 이 게시물 및 이 게시물 참조 ) 다른 스핀이 있습니다. 일반 MCMC 샘플러의 많은 샘플이 있다고 가정합니다. 각 표본 대해 θθ\theta, 로그 우도 logf(x|θ)log⁡f(x|θ)\log f(\textbf{x} | \theta) 와 로그 우선 의 값을 알고 logf(θ)log⁡f(θ)\log f(\theta)있습니다. 도움이된다면 데이터 포인트 당 로그 우도 값 도 …

24 machine-learning  bayesian  sampling  mcmc  likelihood 

우리 모두 알고 있듯이 로지스틱 회귀 모델을 평가하는 두 가지 방법이 있으며 매우 다른 것들을 테스트하고 있습니다. 예측력 : 독립 변수를 기반으로 종속 변수를 얼마나 잘 예측할 수 있는지 측정하는 통계량을 얻으십시오. 잘 알려진 Pseudo R ^ 2는 McFadden (1974)과 Cox and Snell (1989)입니다. 적합도 통계 이 테스트는 모델을 더 …

24 r  logistic  goodness-of-fit  regression-strategies  model-evaluation 

~ 0.1 %와 같이 서로 매우 근접한 기하 평균과 산술 평균에 대해 중요한 것이 있습니까? 그러한 데이터 세트에 대해 어떤 추측을 할 수 있습니까? 나는 데이터 세트를 분석하려고 노력했으며, 아이러니하게도 값이 매우 가깝다는 것을 알았습니다. 정확하지는 않지만 가깝습니다. 또한 산술 평균 기하학 평균 불평등의 빠른 온 전성 검사와 데이터 수집 …

24 descriptive-statistics  mean  geometric-mean 

텍스트 분류에 대한 일반적인 접근 방식은 분류기를 '단어 모음'에서 학습시키는 것입니다. 사용자는 텍스트를 분류하고 각 객체의 단어 빈도를 세고 그에 따라 트리밍 가능한 크기의 행렬을 유지하기위한 일종의 트리밍을 계산합니다. 종종 사용자는 TFIDF를 사용하여 기능 벡터를 구성하는 것을 봅니다. 다시 말해, 위에서 언급 한 텍스트 빈도는 말뭉치의 단어 빈도에 의해 가중됩니다. …

24 machine-learning  classification  text-mining 

분산 분석 대 다중 선형 회귀 분석? 이 두 가지 방법 모두 동일한 통계 모델을 사용하는 것 같습니다. 그러나 어떤 상황에서 어떤 방법을 사용해야합니까? 비교할 때 이러한 방법의 장단점은 무엇입니까? 왜 ANOVA가 실험 연구에서 일반적으로 사용되며 회귀 연구를 거의 찾지 못하는가?

24 anova  multiple-regression  least-squares