통계 및 빅 데이터

여기서 가우스 혼합 모델을 시도하는 동안 이 4 가지 공분산 유형을 찾았습니다. 'full' (each component has its own general covariance matrix), 'tied' (all components share the same general covariance matrix), 'diag' (each component has its own diagonal covariance matrix), 'spherical' (each component has its own single variance). 나는 각 유형에 …

13 covariance-matrix  gaussian-mixture 

RNN (특히 LSTM 단위)의 작동 방식에 대한 기본 지식이 있습니다. LSTM 장치의 구조, 즉 셀과 몇 개의 게이트로 구성된 값의 흐름을 조절하는 그림 아이디어가 있습니다. 그러나 LSTM이 기존 RNN 인 시간 전파를 통해 훈련하는 동안 발생하는 "배니싱 및 폭발 그라디언트"문제를 해결하는 방법을 완전히 이해하지 못했습니다. 나는 수학을 완전히 이해하기 위해 …

13 neural-networks  lstm  rnn  backpropagation 

에서 R의 사용을위한 회귀 입력 데이터를 포맷하기위한 세 가지 방법이있다 glm기능 : 데이터는 각 관측치에 대해 "이진"형식 일 수 있습니다 (예 : 각 관측치에 대해 y = 0 또는 1). 데이터는 "Wilkinson-Rogers"형식 일 수 있으며 (예를 들어, y = cbind(success, failure)각 행은 하나의 처리를 나타냄); 또는 데이터는 각 관측치에 대한 …

13 r  logistic  generalized-linear-model 

데이터 세트에 백만 개의 예 ( )가 포함되어 있으며, 그래디언트 디센트를 사용하여 이러한 데이터 세트에 대해 로지스틱 또는 선형 회귀를 수행하려고합니다.x1,…,x106x1,…,x106x_1, \ldots, x_{10^6} 그라디언트 디센트 방법으로 비효율적 인 것은 무엇입니까? 시간 에서의 경사 하강 단계 는 다음에 의해 주어진다는 것을 상기 하자.ttt wt+1=wt+ηt∇f(x)wt+1=wt+ηt∇f(x)w_{t+1} = w_{t} + \eta_t \nabla f(x) 여기서 …

13 machine-learning  gradient-descent  large-data 

베이지안 통계를 처음 배우기; MCMC 이해에 대한 각도로서 나는 다른 방법으로는 할 수없는 일을하고 있습니까, 아니면 대안보다 훨씬 더 효율적인 일을하고 있습니까? 예를 들어 , 반대의 P ( D | x , y , z ) 를 계산하는 모델이 주어지면 데이터 P(x,y,z|D)P(x,y,z|D)P(x,y,z|D) 대해 매개 변수의 확률을 계산하려고한다고 가정 합니다 . …

13 bayesian  mcmc 

이것이 올바른 스택 사이트라면 확실하지 않지만 여기에 있습니다. .similiarity 방법은 어떻게 작동합니까? 와우 spaCy는 위대하다! tfidf 모델이 더 쉬울 수 있지만 한 줄의 코드로 w2v가 가능합니까?! spaCy andrazhribernik 에 대한 10 줄의 튜토리얼에서 우리는 토큰, 전송, 단어 청크 및 문서에서 실행할 수있는 .similarity 방법을 보여줍니다. 후 nlp = spacy.load('en')와 doc …

13 natural-language  word2vec  tf-idf  nltk 

저는 Cousera의 DeepAI 과정 (3 주 비디오 1 "Neural Networks 개요")을 통해 진행하고 Andrew Ng는 신경망의 각 계층이 또 다른 로지스틱 회귀 분석 방법을 설명하고 있지만 어떻게 이것이 더 정확한지 설명하지는 않습니다. 2 계층 네트워크에서 물류를 여러 번 계산하는 것이 어떻게 더 정확 해 집니까?

13 logistic  neural-networks 

Naive Bayes 분류기는 클래스 멤버쉽 의 사후 를 최대화하여 항목 를 클래스 할당하는 분류기이며 항목 의 기능이 독립적이라고 가정합니다.xxxCCCP(C|x)P(C|x)P(C|x) 0-1 손실은 모든 잘못된 분류에 "1"의 손실과 "0"의 손실을 올바른 분류에 할당하는 손실입니다. 나는 종종 (1) "Naive Bayes"분류 기가 0-1 손실에 최적이라는 것을 읽습니다. 왜 이것이 사실입니까? (1) 하나의 예시적인 출처 …

13 machine-learning  bayesian  optimization  naive-bayes  loss-functions 

최근에 나는 Yann Dauphin 등의 논문을 읽었습니다. 고차원 비 볼록 최적화에서 새들 포인트 문제를 식별하고 공격합니다 . 여기서 새들 프리 뉴턴 (Saddle-Free Newton) 이라는 흥미로운 하강 알고리즘을 도입합니다. 신경 알고리즘 은 뉴럴 네트워크 최적화에 적합하게 맞춰져 있고 안장 포인트에 걸리지 않아야합니다. 바닐라 SGD와 같은 1 차 방법과 유사합니다. 이 논문은 …

13 optimization  deep-learning  gradient-descent 

에서 경험 주의자의 동반자 : 대부분 무해 계량 경제학 (Angrist 및 Pischke, 2009 : 209 페이지) 나는 다음을 읽어 (...) 사실, 방금 식별 된 2SLS (단순한 Wald 추정기)는 거의 편향되지 않습니다 . 방금 식별 된 2SLS에 모멘트가 없기 때문에 공식적으로 표시하기가 어렵습니다 (즉, 샘플링 분포에 팻 테일이 있음). 그럼에도 불구하고, …

13 regression  self-study  multiple-regression  econometrics  instrumental-variables 

전제 : 이것은 어리석은 질문 일 수 있습니다. MLE 점근 적 특성에 대한 진술 만 알고 있지만 증거를 연구 한 적이 없습니다. 내가했다면 아마도이 질문을하지 않을 수도 있고, 또는 나는이 질문이 이해가되지 않는다는 것을 깨달을 것입니다 ... 그래서 나에게 쉽게 가십시오 :) 나는 종종 모델 파라미터의 MLE 추정기가 무의식적으로 정상적이고 …

13 maximum-likelihood  model  asymptotics 

과거에 많은 생물 의학 논문에서 단계적 회귀가 과도하게 사용되었지만 많은 문제에 대한 더 나은 교육으로 개선되고있는 것으로 보입니다. 그러나 많은 오래된 검토 자들은 여전히 ​​그것을 요구합니다. 단계적 회귀는 역할을하고 상황은 무엇입니까 해야합니다 (있는 경우)를 사용할 수는?

13 regression  multiple-regression  feature-selection  model-selection  stepwise-regression 

능선 회귀 모델의 AICc를 계산하고 싶습니다. 문제는 매개 변수의 수입니다. 선형 회귀 분석의 경우 대부분의 사람들은 모수의 개수가 추정 계수의 수에 시그마 (오류의 분산)를 더한 값과 같다고 제안합니다. 능선 회귀에 관해서는 모자 행렬의 흔적-자유도 (df)가 단순히 AIC 수식의 매개 변수 수 (예 : here 또는 here ) 로 사용된다는 것을 …

13 regression  aic  ridge-regression  degrees-of-freedom 

다음 사후 분포의 95 % 신뢰할 수있는 간격을 계산하려고합니다. R에서 함수를 찾을 수 없지만 아래 방법이 맞습니까? x <- seq(0.4,12,0.4) px <- c(0,0, 0, 0, 0, 0, 0.0002, 0.0037, 0.018, 0.06, 0.22 ,0.43, 0.64,0.7579, 0.7870, 0.72, 0.555, 0.37, 0.24, 0.11, 0.07, 0.02, 0.009, 0.005, 0.0001, 0,0.0002, 0, 0, 0) plot(x,px, …

13 bayesian  descriptive-statistics  credible-interval 

배경: Princeton의 GLM MLE 추정 검토 를 따르려고합니다 . 내가 MLE 추정의 기초를 이해 : likelihood, score, 관찰 및 예상 Fisher information과 Fisher scoring기술. 그리고 나는 MLE 추정으로 간단한 선형 회귀 를 정당화하는 방법을 알고 있습니다. 질문: 이 방법의 첫 번째 줄조차 이해할 수 없습니다. 다음과 같이 작업 변수 의 …

13 regression  generalized-linear-model  maximum-likelihood  link-function  irls