통계 및 빅 데이터

질문 : 열지도는 언제 (어떤 유형의 데이터 시각화 문제에 대해) 가장 효과적입니까? (특히, 다른 모든 가능한 시각화 기술보다 더 효과적입니까?) 히트 맵은 언제 가장 효과적입니까? 히트 맵이 데이터를 시각화하는 효과적인 방법인지 여부와 비효율적 인시기를 결정하는 데 사용할 수있는 일반적인 패턴이나 경험 법칙이 있습니까? (주로 나는 2 개의 범주 형 변수와 …

22 data-visualization  heatmap 

논문에 Quantile 회귀 모델을 포함시킨 후, 검토 자들은 조정 된 를 논문에 포함시키기를 원합니다 . 나는 나의 연구에 관심있는 3 개의 Quantile에 대한 의사 ( Kenker and Machado의 1999 JASA 논문 )를 계산했다.R2R2R^2R2R2R^2 그러나 Quantile 회귀 분석을 위해 조정 된 대해 들어 본 적이 없으며 계산 방법을 모릅니다. 다음 중 …

22 goodness-of-fit  r-squared  quantile-regression 

A는 B와 긍정적으로 관련이 있습니다. C는 A와 B의 결과이지만 C에 대한 A의 영향은 부정적이며 C에 대한 B의 영향은 긍정적입니다. 이런 일이 일어날 수 있습니까?

22 regression  correlation 

Tensorflow에 의해 숨겨진 레이어가 하나 인 간단한 신경망을 가지고 놀고 있었고 숨겨진 레이어에 대해 다른 활성화를 시도했습니다. 렐루 시그 모이 드 Softmax (일반적으로 softmax는 마지막 레이어에서 사용됩니다.) Relu는 최고의 열차 정확도 및 검증 정확도를 제공합니다. 이것을 설명하는 방법을 잘 모르겠습니다. 우리는 Relu가 그라디언트 사라짐과 같은 희소성과 같은 좋은 특성을 가지고 …

22 machine-learning  neural-networks  conv-neural-network  tensorflow  sigmoid-curve 

데이터 세트가 있습니다. 관측치와 변수를 말합니다 .101010333 obs A B C 1 0 0 1 2 0 1 0 3 1 0 1 4 1 1 0 5 1 0 1 6 1 0 0 7 1 1 0 8 0 0 1 9 0 1 1 10 0 1 …

22 proportion  descriptive-statistics  paradox 

정규 문제에 대해 알고 있는데, 만약 우리가 가장 규칙적인 편견이없는 추정기가 있다면, 그것은 최대 우도 추정기 (MLE) 여야합니다. 그러나 일반적으로 우리가 편견없는 MLE를 가지고 있다면, 이것이 최선의 편견없는 추정기일까요?

22 mathematical-statistics  maximum-likelihood  unbiased-estimator 

Andrew Gelman은 Bayesian AB 테스트에 다중 가설 수정이 필요하지 않은 이유에 대한 광범위한 기사를 작성했습니다. 왜 우리는 (일반적으로) 다중 비교에 대해 걱정할 필요가 없는가 , 2012. 잘 모르겠습니다 : 왜 베이지안 방법이 여러 번의 테스트 수정이 필요하지 않습니까? A ~ Distribution1 + Common Distribution B ~ Distribution2 + Common Distribution …

22 hypothesis-testing  bayesian  multiple-comparisons 

아래 이미지는 위양성 비율과 실제 양의 비율의 연속 곡선을 보여줍니다. 그러나 내가 즉시 얻지 못하는 것은 이러한 요율이 계산되는 방법입니다. 메소드가 데이터 세트에 적용되는 경우 특정 FP 속도 및 특정 FN 속도가 있습니다. 이것이 각 방법이 곡선이 아닌 단일 점을 가져야한다는 것을 의미하지 않습니까? 물론 방법을 구성하고 여러 가지 다른 …

22 machine-learning  data-visualization  roc  auc 

8ed (pp.217-218)에 대한 Miller and Freund의 확률 및 통계에 따르면 , 이항 분포 (Bernoulli 시행)에 대해 최대화 될 가능성 함수는 다음과 같습니다. 패 ( p )=∏n나는 = 1피x나는( 1 - p)1 −x나는L(피)=∏나는=1엔피엑스나는(1−피)1−엑스나는L(p) = \prod_{i=1}^np^{x_i}(1-p)^{1-x_i} 이 방정식에 어떻게 도달합니까? Poisson과 Gaussian과 같은 다른 배포판에 관해서는 꽤 분명해 보입니다. L ( θ …

22 estimation  maximum-likelihood  bernoulli-distribution  point-estimation 

LASSO ( ) 및 Ridge ( )와 같은 일부 페널티 함수 및 근사값은 잘 연구 되었으며 회귀 분석에서 이러한 점을 비교하는 방법에 대해 살펴 봅니다.엘1L1L_1엘2L2L_2 브리지 페널티에 대해 읽었습니다. 이는 일반 페널티입니다. 이것을 \ gamma = 1 인 LASSO 와 \ gamma = 2 인 Ridge와 비교 하여 특별한 경우를 …

22 regression  lasso  regularization  ridge-regression  elastic-net 

역 전파 알고리즘을 사용하여 신경망을 훈련 할 때, 경사 하강 법이 가중치 업데이트를 결정하는데 사용된다. 내 질문이있다 : 오히려 천천히 일정한 무게에 대한 최소한의 포인트를 찾을 그라데이션 하강 방법을 사용하는 것보다, 왜 우리는 단지 파생 설정하지 , 그리고 오차를 최소화하는 무게 값 를 찾으 십니까?d(Error)dw=0d(Error)dw=0\frac{d(\text{Error})}{dw}=0www 또한 역 전파의 오차 함수가 …

22 neural-networks  gradient-descent  backpropagation 

음 이항 분포와 이항 분포의 차이점은 무엇입니까? 온라인에서 읽으려고했는데 데이터 포인트가 이산적일 때 음의 이항 분포가 사용된다는 것을 알았지 만 이항 분포조차도 이산 데이터 포인트에 사용할 수 있다고 생각합니다.

22 categorical-data  data-mining  binomial  negative-binomial 

나는 정규화에 관한 문헌을 살펴 보았고 L2 규제를 가우시안과 연결하고 L1을 0으로 중심으로 한 L1을 연결하는 단락을 종종 볼 수 있습니다. 나는 이러한 이전의 모습을 알고 있지만 선형 모델의 가중치와 같이 어떻게 해석되는지 이해하지 못합니다. L1에서, 내가 올바르게 이해한다면, 우리는 희소 한 솔루션, 즉 일부 가중치가 정확히 0으로 푸시 될 …

22 regression  bayesian  prior  regularization  laplace-distribution 

데이터를 계층 적으로 클러스터하고 싶지만 유클리드 거리를 사용하는 대신 상관 관계를 사용하고 싶습니다. 또한 상관 계수의 범위는 -1에서 1까지이며, 연구에서 -1과 1이 모두 "공-조절"을 나타내므로 -1과 1을 d = 0으로 취급합니다. 따라서 계산은 d=1−|r| d=1−|r|\ d = 1-|r| 나는 코사인 정리를 사용하여 r 을 진정한 유클리드 d 로 변환해야한다는 별도의 …

22 correlation  clustering  distance  hierarchical-clustering 

베이지안 추론에서, 미래 데이터에 대한 예측 분포는 알려지지 않은 파라미터를 통합함으로써 도출된다; 이러한 모수의 사후 분포에 통합하면 사후 예측 분포 (이미 관찰 된 데이터에 조건부 미래 데이터에 대한 분포)가 제공됩니다. 모수 추정치의 불확실성을 고려하는 예측이 아닌 비 예측 방법이 있습니까? 모든 사람은 선형 회귀 후 예측 간격을 계산하는 방법을 알고 …

22 prediction  inference  prediction-interval