통계 및 빅 데이터

길이의 순서 : 나는 전형적인 세트의 개념은 꽤 직관적이라고 생각 nnn 전형적인 설정에 속하는 것 ( N ) ε 나오는 순서의 확률이 높았다합니다. 따라서 A ( n ) ϵ 일 가능성이있는 모든 시퀀스입니다 . (나는 그것을 정 성적으로 이해하려고하기 때문에 엔트로피와 관련된 공식적인 정의를 피하고 있습니다.)A(n)ϵAϵ(n)A_\epsilon ^{(n)}A(n)ϵAϵ(n)A_\epsilon ^{(n)} 그러나 일반적으로 …

15 entropy  intuition  information-theory 

분포 의 예상 값은 f(x)f(x)f(x)평균입니다. 즉 가중 평균 값 E[x]=∫+∞−∞xf(x)dxE[x]=∫−∞+∞xf(x)dxE[x]=\int_{-\infty}^{+\infty} x \, \, f(x) dx 가장 가능성이 높은 값은 가장 가능성있는 값인 모드입니다. 그러나 우리는 어떻게 든 E[x]E[x]E[x] 를 여러 번 볼 것으로 예상 합니까? 여기 에서 인용 : 결과 xixix_i 가 똑같이 가능하지 않은 경우 단순 평균을 가중 평균으로 …

15 probability  distributions  chi-squared  expected-value  mode 

다중 계층 신경망을 심층 신경망으로 분류하거나 다른 방법으로 '심층 신경망에서 최소 레이어 수는 얼마입니까?'

15 machine-learning  neural-networks  deep-learning  terminology 

선형 회귀 (제곱 손실)에서 행렬을 사용하면 목표에 대해 매우 간결한 표기법이 있습니다. minimize ∥Ax−b∥2minimize ‖Ax−b‖2\text{minimize}~~ \|Ax-b\|^2 여기서 AAA 는 데이터 행렬이고 xxx 는 계수이고 bbb 는 반응입니다. 로지스틱 회귀 목표에 대해 유사한 행렬 표기법이 있습니까? 내가 본 모든 표기법은 모든 데이터 포인트 ( \ sum _ {\ text data} \ …

15 regression  logistic  linear-model  notation 

step 함수를 사용하여 R의 단계별 회귀와 역 회귀의 기본 차이점을 이해하려고합니다. 단계별 회귀 분석을 위해 다음 명령을 사용했습니다. step(lm(mpg~wt+drat+disp+qsec,data=mtcars),direction="both") 위의 코드에 대한 아래 출력이 있습니다. 뒤로 변수 선택을 위해 다음 명령을 사용했습니다. step(lm(mpg~wt+drat+disp+qsec,data=mtcars),direction="backward") 그리고 나는 뒤로 출력을 얻었습니다. 내가 아는 한, 매개 변수가 지정되지 않은 경우 매개 변수 "upper"및 "lower"가 …

15 r  regression 

추론에 회귀 모델을 사용하는 기본 가정은 "모든 관련 예측 변수"가 예측 방정식에 포함되어 있다는 것입니다. 중요한 실제 요인을 포함하지 않으면 계수가 바이어스되어 부정확 한 추론 (즉, 변수 바이어스 생략)이 발생한다는 이론적 근거가 있습니다. 그러나 연구 관행에서 "모든 관련 예측 변수" 와 유사한 것을 포함한 사람 은 본 적이 없습니다 . …

15 regression  assumptions  bias  predictor  confounding 

패턴 인식 및 기계 학습 책 9 장에는 가우스 혼합 모델에 대한이 부분이 있습니다. 솔직히 말해서 이것이 왜 특이점을 만드는지 이해하지 못합니다. 누구든지 나에게 이것을 설명 할 수 있습니까? 죄송하지만 머신 러닝 분야의 학부생이자 초보자이므로 제 질문에 약간 어리석은 소리가 들리지만 도와주세요. 대단히 감사합니다

15 gaussian-mixture 

R의 패키지를 sklearn사용하여 로지스틱 회귀 라이브러리 의 결과를 복제하려고합니다 glmnet. 로부터 sklearn로지스틱 회귀 문서 , L2 페널티 아래의 비용 함수를 최소화하기 위해 노력하고있다 minw,c12wTw+C∑i=1Nlog(exp(−yi(XTi승 + C))+1)minw,c12wTw+C∑나는=1엔로그⁡(특급⁡(−와이나는(엑스나는티승+씨))+1)\min_{w,c} \frac12 w^Tw + C\sum_{i=1}^N \log(\exp(-y_i(X_i^Tw+c)) + 1) 로부터 네트 의 glmnet그 구현이 약간 다른 비용 함수를 최소화하는 분β, β0− [ 1엔∑나는 = 1엔와이나는( β0+ …

15 r  logistic  python  scikit-learn  glmnet 

2 ECDFS를 비교할 때 Kolmogorov-Smirnov, Cramer-von-Mises 및 Anderson-Darling을 사용하는 기준이 무엇인지 궁금합니다. 나는 각각의 차이점에 대한 수학을 알고 있지만 ECDF 데이터가 있다면 어떤 테스트가 사용하기에 적합한 지 어떻게 알 수 있습니까?

15 kolmogorov-smirnov  anderson-darling  two-sample 

기계 학습을 담당하는 소프트웨어 엔지니어입니다. 내 이해에서 선형 회귀 (예 : OLS) 및 선형 분류 (예 : 로지스틱 회귀 및 SVM)는 훈련 된 계수 와 특징 변수 사이의 내부 곱을 기반으로 예측합니다 .승⃗ 승→\vec{w}엑스⃗ 엑스→\vec{x} 와이^= f( 승⃗ ⋅ x⃗ ) = f( ∑나는승나는엑스나는)와이^=에프(승→⋅엑스→)=에프(∑나는승나는엑스나는) \hat{y} = f(\vec{w} \cdot \vec{x}) = …

15 regression  machine-learning  classification  feature-selection  linear-model 

미니 배치 그라디언트 괜찮은 것을 구현했을 때 훈련 배치의 모든 예제의 그라디언트를 평균화했습니다. 그러나, 이제는 최적의 학습 속도가 온라인 그래디언트보다 훨씬 높다는 것을 알았습니다. 내 직감은 평균 그라디언트가 덜 시끄럽기 때문에 더 빨리 따라갈 수 있기 때문입니다. 따라서 배치의 그라디언트를 요약하는 것만으로도 의미가 있습니다. 어쨌든 값은 양수와 음수 일 수 …

15 neural-networks  gradient-descent  backpropagation 

내가 이해하는 한, 거리 상관 은 두 숫자 변수 사이에 관계가 있는지 확인하는 강력하고 보편적 인 방법입니다. 예를 들어, 숫자 쌍이 있다면 : (x1, y1) (x2, y2) ... (xn, yn) 거리 상관 관계를 사용하여 두 변수 ( x와 y) 사이에 (선형 일 필요는없는) 관계가 있는지 확인할 수 있습니다 . 더욱이, …

15 correlation  independence  intuition  distance-covariance 

"Leave-one-out"교차 유효성 검사는 훈련 과정이 겹치므로 편차가 크다는 것을 계속해서 읽었습니다. 그러나 나는 그것이 왜 그런지 이해하지 못합니다 : 훈련 세트가 거의 동일하기 때문에 교차 검증의 성능이 정확하게 안정적이어야합니까 (낮은 분산)? 아니면 "분산"개념을 잘못 이해하고 있습니까? 또한 LOO가 편향되지 않는 방법을 완전히 이해하지 못하지만 분산이 높습니다. LOO 추정치가 기대치의 실제 …

15 variance  cross-validation  bias 

Tweedie 분포는 모수 (평균-분산 관계에서 지수)가 1과 2 사이 일 때 0으로 점 질량을 사용하여 치우친 데이터를 모델링 할 수 있습니다 .ppp 유사하게 0 팽창 된 (그렇지 않으면 연속적이든 불연속적인) 모델은 많은 수의 0을 가질 수 있습니다. 이러한 종류의 모델로 적합치를 예측하거나 계산할 때 모든 예측값이 0이 아닌 이유를 이해하는 …

15 r  generalized-linear-model  prediction  zero-inflation  tweedie-distribution 

SAS를 사용하여 Markov 체인을 이해하려고합니다. Markov 프로세스는 미래 상태가 현재 상태에만 의존하고 과거 상태에는 의존하지 않으며 하나의 상태에서 다른 상태로의 전환 확률을 캡처하는 전환 행렬이 있음을 이해합니다. 그러나 나는이 용어를 보았습니다 : Markov Chain Monte Carlo. Markov Chain Monte Carlo가 위에서 설명한 Markov 프로세스와 관련이 있는지 알고 싶습니다.

15 probability  simulation  mcmc  monte-carlo  markov-process