통계 및 빅 데이터

소방관 입학 시험 결과를 보여주는 데이터가 있습니다. 시험 결과와 민족이 서로 독립적이지 않다는 가설을 테스트하고 있습니다. 이를 테스트하기 위해 R에서 Pearson 카이 제곱 테스트를 실행했습니다. 결과에 예상 한 결과가 표시되지만 ""라는 경고가 표시되었습니다 In chisq.test(a) : Chi-squared approximation may be incorrect. > a white black asian hispanic pass 5 2 …

40 r  categorical-data  chi-squared  small-sample  error-message 

보통 분포와 가우스 분포 사이에 깊은 차이가 있습니까? 나는 많은 논문을 구별없이 사용하는 것을 보았으며 일반적으로 같은 논문이라고도합니다. 그러나 내 PI는 최근 정상이 평균 = 0 및 std = 1 인 가우시안의 특정 사례라고 말했으며, 다른 콘센트에서 얼마 전에 들었습니다. 이에 대한 합의는 무엇입니까? 위키 백과에 따르면, 그것들이 정규이라고 부르는 …

40 normal-distribution  terminology 

능선 회귀에 대한 솔루션 도출에 문제가 있습니다. 정규화 용어가없는 회귀 솔루션을 알고 있습니다. β=(XTX)−1XTy.β=(XTX)−1XTy.\beta = (X^TX)^{-1}X^Ty. 그러나 L2 항 를 비용 함수에 추가 한 후 솔루션은 어떻게됩니까?λ∥β∥22λ‖β‖22\lambda\|\beta\|_2^2 β=(XTX+λI)−1XTy.β=(XTX+λI)−1XTy.\beta = (X^TX + \lambda I)^{-1}X^Ty.

40 regression  least-squares  regularization  ridge-regression 

정보 검색의 맥락에서 볼 때마다 리콜과 정밀도에 대한 정의를 읽었습니다. 누군가가 분류 맥락에서 이것을 조금 더 설명하고 몇 가지 예를 설명 할 수 있는지 궁금합니다. 예를 들어 60 %의 정밀도와 95 %의 리콜을 제공하는 이진 분류 기가 있는데, 이것이 좋은 분류기입니까? 어쩌면 내 목표를 좀 더 돕기 위해 가장 좋은 …

40 machine-learning  metric 

30 개의 독립 변수 세트에서 연속 종속 변수에 대한 예측 변수를 찾고 싶습니다. R 의 glmnet 패키지에 구현 된대로 Lasso 회귀를 사용하고 있습니다. 더미 코드는 다음과 같습니다. # generate a dummy dataset with 30 predictors (10 useful & 20 useless) y=rnorm(100) x1=matrix(rnorm(100*20),100,20) x2=matrix(y+rnorm(100*10),100,10) x=cbind(x1,x2) # use crossvalidation to find the …

40 r  multiple-regression  lasso  glmnet  communication 

7, 16 및 29 지점이 영향력있는 지점인지 여부를 해결하는 방법을 아는 사람이 있습니까? 나는 Cook의 거리가 1보다 작기 때문에 그렇지 않다는 것을 읽었습니다. 맞아?

40 r  regression  residuals  diagnostic  cooks-distance 

나는 이것에 대해 잠시 동안 궁금해했다. 나는 그것이 갑자기 어떻게 일어나는지 조금 이상하다고 생각한다. 기본적으로 이 평활화 위해 3 개의 유니폼 만 필요한 이유 는 무엇입니까? 그리고 왜 평활화가 비교적 빨리 발생합니까?ZnZnZ_n Z2Z2Z_2 : Z3Z3Z_3 : (John D. Cook의 블로그 ( http://www.johndcook.com/blog/2009/02/12/sums-of-uniform-random-values/ ) 에서 부끄럽게 도난당한 이미지 ) 왜 네 …

40 normal-distribution  mathematical-statistics  uniform  central-limit-theorem 

통계에 발이 젖었으므로이 질문이 이해가되지 않으면 죄송합니다. Markov 모델을 사용하여 숨겨진 상태 (불공정 카지노, 주사위 롤 등) 및 신경망을 예측하여 사용자가 검색 엔진에서 클릭 한 클릭을 연구했습니다. 둘 다 우리가 관측 값을 사용하여 알아 내려고 애썼던 상태를 숨겼습니다. 이해하기 위해 둘 다 숨겨진 상태를 예측하므로 신경망에서 Markov 모델을 언제 사용할지 …

40 data-mining  algorithms  neural-networks  markov-process 

PCA (Principal Component Analysis) 또는 EOF (Empirical Orthogonal Function) 분석에서 나오는 중요한 패턴의 수를 결정하고 싶습니다. 특히이 방법을 기후 데이터에 적용하는 데 관심이 있습니다. 데이터 필드는 M이 시간 차원 (예 : 일)이고 N이 공간 차원 (예 : lon / lat 위치) 인 MxN 행렬입니다. 중요한 PC를 결정하기 위해 가능한 부트 …

40 r  pca  bootstrap  monte-carlo 

나는 일반적으로 줄거리를 준비 할 때 나만의 고유 한 선택을합니다. 그러나 플롯을 생성하는 모범 사례가 있는지 궁금합니다. 참고 : 이 질문 에 대한 답변에 대한 Rob의 의견 은 여기에 매우 관련이 있습니다.

40 data-visualization  references 

Wikipedia에서 : 당신이 게임 쇼에 있고 세 개의 문 중 하나를 선택했다고 가정 해 봅시다. 다른 사람들 뒤에 염소. 1 번 문을 선택하면 문 뒤에 무엇이 있는지 아는 호스트가 염소가있는 3 번 문을 엽니 다. 그리고 나서 "문 2 번을 고르시겠습니까?" 선택을 전환하는 것이 유리합니까? 대답은 물론 그렇습니다. 그러나 그것은 …

40 probability  intuition  puzzle 

특히, 나는이 진술에 대해 궁금해한다고 생각합니다. TensorFlow의 향후 주요 버전에서는 기본적으로 그라디언트가 backprop의 레이블 입력으로 흐를 수 있습니다. 내가 사용할 때 표시됩니다 tf.nn.softmax_cross_entropy_with_logits. 같은 메시지에서 나는 그것을 볼 것을 촉구한다 tf.nn.softmax_cross_entropy_with_logits_v2. 나는 문서를 살펴 보았지만 다음과 같은 내용만을 언급했다 tf.nn.softmax_cross_entropy_with_logits_v2. 역전 파는 로짓과 레이블 모두에서 발생합니다. 역 전파를 레이블로 전파하지 …

40 machine-learning  supervised-learning  tensorflow  backpropagation 

DTW (Dynamic Time Warping)를 사용하여 시계열의 클러스터링을 수행하는 방법은 무엇입니까? 두 시계열의 유사성을 찾는 방법으로 DTW에 대해 읽었지만 시간이 바뀔 수 있습니다. 이 방법을 k- 평균과 같은 클러스터링 알고리즘의 유사성 측정으로 사용할 수 있습니까?

40 time-series  clustering 

신경 네트워크 의 배니싱 그래디언트 문제에 대한 해결책으로 여러 곳에서 정류 선형 유닛 (ReLU)이 칭찬했습니다 . 즉, max (0, x)를 활성화 함수로 사용합니다. 활성화가 양성일 때, 이것은 시그 모이 드 활성화 기능보다 낫다는 것이 명백하다. 그 파생은 큰 x에 대해 임의적으로 작은 값 대신에 항상 1이기 때문이다. 반면에, x가 0보다 …

40 machine-learning  neural-networks  deep-learning  gradient-descent 

정규 분포에서 68-95-99.7 규칙은 표준 편차에 많은 의미를 부여하지만 비정규 분포 (다중 또는 비대칭)에서 표준 편차는 무엇을 의미합니까? 모든 데이터 값이 여전히 3 표준 편차 내에 있습니까? 비정규 분포에 대한 68-95-99.7 규칙과 같은 규칙이 있습니까?

40 normal-distribution  standard-deviation  skewness