통계 및 빅 데이터

기계 학습 (ML)은 선형 및 로지스틱 회귀 기술을 많이 사용합니다. 또한 기능 공학 기술 (에 의존 feature transform, kernel등). 이유는 없다 아무것도 에 대한 variable transformation(예 power transformation) ML에서 언급은? (예를 들어, 루트 또는 로그를 피처로 가져 오는 것에 대해 들어 본 적이 없으며 일반적으로 다항식 또는 RBF 만 사용합니다.) …

24 regression  machine-learning  data-transformation 

허위 발견 률을 제어하기 위해 단일 데이터 세트를 기반으로 실험에 다중 가설 검정에 대한 Benjamini Hochberg와 유사한 수정을 적용해야합니다. 그렇지 않으면 긍정적 인 결과를 제공하는 모든 실험이 허위 일 수 있습니다. 그러나 데이터의 출처에 관계없이 처음부터 모든 실험에 동일한 원칙을 적용하지 않는 이유는 무엇입니까? 결국, "유의 한"것으로 여겨지는 발표 된 …

24 hypothesis-testing  multiple-comparisons  bonferroni  false-discovery-rate 

\newcommand{\P}{\mathbb{P}} 우리는 정해진 시간 동안 여러 번 발생할 수있는 임의의 과정을 가지고 있습니다 . 이 프로세스의 기존 모델의 데이터 피드를 통해 기간에 여러 이벤트가 발생할 확률을 제공합니다 . 이 기존 모델은 오래되었으며 추정 오류에 대해 피드 데이터에서 실시간 검사를 실행해야합니다. 데이터 피드를 생성하는 기존 모델 ( 시간 남은 에서 이벤트가 …

24 negative-binomial  kalman-filter  poisson-process  state-space-models 

질문 / 제목이 구체적이지 않다는 것을 알고 있으므로 다음과 같이 정리하려고합니다. 인공 신경망은 비교적 엄격한 디자인을 가지고 있습니다. 물론, 그들은 일반적으로 생물학의 영향을 받아 실제 신경망의 수학적 모델을 구축하려고 시도하지만 실제 신경망에 대한 우리의 이해는 정확한 모델을 만들기에는 충분하지 않습니다. 따라서 실제 신경망에 "가까운"정확한 모델이나 어떤 것도 상상할 수 없습니다. …

24 machine-learning  neural-networks  bioinformatics  artificial-intelligence  neuroscience 

각각 특징을 갖는 데이터 점이 주어지면 는 으로 표시되고 다른 는 로 표시됩니다 . 각 피처는 임의로 값을받습니다 (균일 분포). 두 클래스를 나눌 수있는 초평면이 존재할 확률은 얼마입니까?nnndddn/2n/2n/2000n/2n/2n/2111[0,1][0,1][0,1] 가장 쉬운 경우를 먼저 고려하십시오 (예 : .d=1d=1d = 1

24 probability  classification  mathematical-statistics  separation 

따라서이 질문은 약간 지저분하지만 화려한 그래프를 포함시켜 그 내용을 보완합니다! 먼저 배경과 질문. 배경 개 범주에 대해 동일한 probailites를 가진 차원 다항 분포 를 가지고 있다고 가정 해 봅시다 . 하자 정규화 계수 (BE 하다 분포가) :nnnnnnπ=(π1,…,πn)π=(π1,…,πn)\pi = (\pi_1, \ldots, \pi_n)ccc (c1,…,cn)∼Multinomial(1/n,…,1/n)πi=cin(c1,…,cn)∼Multinomial(1/n,…,1/n)πi=cin(c_1, \ldots, c_n) \sim \text{Multinomial}(1/n, \ldots, 1/n) \\ \pi_i …

24 distributions  bayesian  bootstrap  multinomial  dirichlet-distribution 

lasso에 대해 다른 구현 소프트웨어를 사용할 수 있습니다 . 다른 포럼에서 베이지안 접근 방식과 잦은 접근 방식에 대해 많이 논의했습니다. 내 질문은 올가미에 매우 구체적 입니다. 베이 시안 올가미와 일반 올가미의 차이점 또는 장점은 무엇입니까 ? 다음은 패키지 구현의 두 가지 예입니다. # just example data set.seed(1233) X <- scale(matrix(rnorm(30),ncol=3))[,] …

24 r  machine-learning  linear-model  lasso 

저는 현재 R의 트위터 AnomalyDetection을 사용하고 있습니다 : https://github.com/twitter/AnomalyDetection . 이 알고리즘은 계절별 데이터에 대한 시계열 이상 감지 기능을 제공합니다. 질문 : 이와 비슷한 다른 알고리즘이 있습니까 (계절을 제어하는 ​​것은 중요하지 않음)? 최고의 데이터 / 앙상블을 선택할 수 있도록 내 데이터에서 가능한 많은 시계열 알고리즘을 득점하려고합니다.

24 r  regression  time-series  anomaly-detection 

이 두 가지와 같은 50,000 개의 이미지가 있습니다. 그들은 데이터 그래프를 묘사합니다. 이 이미지에서 기능을 추출하고 싶어서 Theano (deeplearning.net)에서 제공하는 자동 인코더 코드를 사용했습니다. 문제는 이러한 자동 인코더가 기능을 배우지 않는 것입니다. RBM을 시도했지만 동일합니다. MNIST 데이터 세트는 훌륭한 기능을 제공하지만 내 데이터가 전혀 생성되지 않는 것 같습니다. 아래 예제를 …

24 machine-learning  neural-networks  feature-construction  rbm  autoencoders 

일반적으로 확률 이론은 Kolgomorov의 공리로 진행됩니다. Bayesians도 Kolmogorov의 공리를 받아들입니까?

24 probability  bayesian  kolmogorov-axioms 

회귀 y i = β 1 + β 2 x 2 , i + ⋯ + β k x k , i + ϵ i 또는 벡터 표기법에서 다중 상관 관계 RRR 및 결정 계수 의 기하학적 의미에 관심이 있습니다. ,R2R2R^2yi=β1+β2x2,i+⋯+βkxk,i+ϵiyi=β1+β2x2,i+⋯+βkxk,i+ϵiy_i = \beta_1 + \beta_2 x_{2,i} + \dots + \beta_k …

24 regression  correlation  multiple-regression  r-squared  geometry 

데이터 점으로서의 특이점에 대한 고전적인 정의에서 상하 사 분위의 1.5 * IQR을 능가하는 경우 비대칭 분포가 가정됩니다. 기울어 진 분포 (지수, 포아송, 기하 등)의 경우 원래 함수의 변환을 분석하여 특이 치를 탐지하는 가장 좋은 방법은 무엇입니까? 예를 들어 지수 분포가 느슨하게 분포 된 분포는 로그 함수로 변환 할 수 있습니다.이 …

24 distributions  outliers  skewness  exponential  interquartile 

일반적으로 PCA (Principal Component Analysis)에서는 데이터의 많은 변화를 설명하지 않기 때문에 처음 몇 대의 PC가 사용되고 저 분산 PC가 삭제됩니다. 그러나 저 변형 PC가 유용하고 (즉, 데이터의 맥락에서 사용하고, 직관적 인 설명 등이있는) 예를 버려서는 안되는 예가 있습니까?

24 pca 

EM 알고리즘에 대한 몇 가지 설명을 읽었습니다 (예 : Bishop의 패턴 인식 및 기계 학습 및 기계 학습에 대한 Roger 및 Gerolami 첫 번째 과정). EM의 파생은 괜찮습니다. 이해합니다. 또한 알고리즘이 무언가에 적용되는 이유를 이해합니다. 각 단계에서 결과를 개선하고 가능성은 1.0로 제한됩니다. 따라서 간단한 사실 (함수가 증가하고 제한되면 수렴)을 사용하여 …

24 missing-data  convergence  expectation-maximization 

모든 종속 변수와 독립 변수가 범주 형 변수 인 경우 회귀를 수행 할 수 있습니까?

24 regression  logistic  categorical-data