통계 및 빅 데이터

James-Stein 추정기에 대해 읽었습니다. 이 노트 에서는 다음과 같이 정의 됩니다. θ^=(1−p−2∥X∥2)Xθ^=(1−p−2‖X‖2)X \hat{\theta}=\left(1 - \frac{p-2}{\|X\|^2}\right)X 나는 증거를 읽었지만 다음 진술을 이해하지 못합니다. 기하학적으로 James–Stein 추정기는 각 성분을 원점으로 축소합니다 .XXX " X의 각 구성 요소를 XXX원점으로 축소 "는 정확히 무엇을 의미합니까? 내가 좋아하는 뭔가 생각 ∥θ^−0∥2&lt;∥X−0∥2,‖θ^−0‖2&lt;‖X−0‖2,\|\hat{\theta} - 0\|^2 < \|X …

19 estimation  terminology  shrinkage  steins-phenomenon 

나는 샤워 에서이 문제를 생각했는데 투자 전략에서 영감을 얻었습니다. 매직 머니 트리가 있다고 가정 해 봅시다. 매일 머니 트리에 일정량의 돈을 제공 할 수 있으며, 머니 트리에 3 배의 돈을 주거나 50/50 확률로 파기합니다. 당신은 평균적으로 당신이 이것을함으로써 돈을 벌고 돈 나무를 이용하기를 열망한다는 것을 즉시 알 수 있습니다. 그러나 …

19 probability  mathematical-statistics  econometrics  random-walk  martingale 

Matérn 공분산 함수는 일반적으로 가우시안 프로세스에서 커널 함수로 사용됩니다. 이렇게 정의되어 있습니다 Cν(d)=σ221−νΓ(ν)(2ν−−√dρ)νKν( 2ν−−√dρ)Cν(디)=σ221−νΓ(ν)(2ν디ρ)ν케이ν(2ν디ρ) {\displaystyle C_{\nu }(d)=\sigma ^{2}{\frac {2^{1-\nu }}{\Gamma (\nu )}}{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}^{\nu }K_{\nu }{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}} 여기서 디디d 는 거리 함수 (예 : 유클리드 거리), ΓΓ\Gamma 는 감마 함수, 케이ν케이νK_\nu …

19 spatial  gaussian-process  kernel-trick 

이진 분류 (SVM, 로지스틱 회귀, 랜덤 포레스트 등)를위한 여러 분류기를 훈련하는 140000 개의 예와 30 개의 기능에 대한 데이터 세트가 있습니다. 많은 경우에 그리드 또는 랜덤 검색을 사용하는 전체 데이터 세트에 대한 하이퍼 파라미터 튜닝은 시간이 너무 많이 걸립니다. 나는 다음 기술을 사용하기 시작했다 하위 샘플 내 데이터 세트 획득 …

19 machine-learning  cross-validation  hyperparameter 

Cantor 배포판 에서 샘플링하는 가장 좋은 방법은 무엇입니까 ? cdf 만 있고 뒤집을 수 없습니다.

19 distributions  simulation  random-generation 

회선 및 풀링 계층을 이해하지만 CNN에서 완전히 연결된 계층의 이유를 알 수 없습니다. 이전 레이어가 출력 레이어에 직접 연결되지 않은 이유는 무엇입니까?

19 neural-networks  deep-learning  conv-neural-network 

나는 자산의 가격을 예측하기 위해 VAR 모델을 구축 중이며 내 방법이 통계적으로 적합한 지, 포함 된 테스트가 적절한 지 여부 및 입력 변수를 기반으로 신뢰할 수있는 예측을 보장하기 위해 더 많은 것이 필요한지 알고 싶습니다. 다음은 Granger 인과 관계를 확인하고 선택한 VAR 모델을 예측하는 현재 프로세스입니다. require("forecast") require("vars") #Read Data …

19 r  forecasting  modeling  var 

MRF의 관측 된 노드 값을 고정하면 CRF가됩니까?

19 probability  graphical-model  graph-theory  conditional-random-field  markov-random-field 

제 연구에서 두 가지 주요 딜레마에 관한 조언이 필요합니다. 이는 3 가지 큰 제약과 혁신에 대한 사례 연구입니다. 연간 특허 수는 종속 변수입니다. 내 질문은 좋은 모델을위한 가장 중요한 기준은 무엇입니까? 더 중요한 것은 무엇입니까? 대부분 또는 모든 변수가 중요합니까? "F STATISTIC"의 조사입니까? "Adjusted R squared"의 값입니까? 둘째, 연구에 가장 …

19 regression  generalized-linear-model  linear-model  goodness-of-fit  poisson-regression 

이분산성이 매우 명확한 적합 값의 함수로 선형 모델의 잔차 값을 플롯했습니다. 그러나이 이분산성이 내 선형 모델을 무효화한다는 것을 이해하기 때문에 지금 어떻게 진행 해야할지 잘 모르겠습니다. (맞습니까?) 이분산성에 강하기 때문에 패키지 의 rlm()기능을 사용하여 강력한 선형 피팅을 사용하십시오 MASS. 이분산성으로 인해 계수의 표준 오차가 잘못되었으므로 이분산성에 견고하도록 표준 오차를 조정할 …

19 r  generalized-linear-model  heteroscedasticity  lm 

기계 학습 알고리즘에서 올바르게 이해하면 모델은 경험에서 배워야합니다. 즉, 모델이 새로운 사례에 대해 잘못된 예측을 제공하면 새로운 관측치에 적응해야하고 시간이 지나면 모델이 점점 더 좋아집니다. . 로지스틱 회귀에는 이러한 특성이 있음을 알 수 없습니다. 그렇다면 왜 여전히 기계 학습 알고리즘으로 간주됩니까? "학습"이라는 용어에서 로지스틱 회귀 분석과 일반 회귀 분석의 차이점은 …

19 machine-learning  logistic  random-forest 

SVM 또는 신경망을 사용하려면 범주 형 변수를 숫자 변수로 변환 (인코딩)해야합니다.이 경우 일반적인 방법은 0-1 이진 값을 사용하여 k 번째 범주 형 값을 (0,0, .. ., 1,0, ... 0) (1은 k 번째 위치에 있습니다). 0-1 표현이 신경망에 많은 수의 추가 차원 (입력 단위)을 도입하여 특히 바람직하지 않거나 예상하지 않은 것처럼 …

19 machine-learning  neural-networks  categorical-data  svm  categorical-encoding 

나는 하나의 오래된 참 / 거짓 시험에서이 진술을 읽었습니다. 그라디언트 디센트를 사용하여 제곱 오차의 합계를 최소화하여 선형 회귀 문제를 해결하면 여러 지역 최적 솔루션을 얻을 수 있습니다. 솔루션 : False 내 질문은,이 질문의 어느 부분이 잘못 되었습니까? 이 진술이 왜 거짓입니까?

19 least-squares  gradient-descent  convex 

여기서의 용어는 혼란입니다. "구조 방정식"은 "건축 다리"만큼 모호하며 "베이지안 네트워크"는 본질적으로 베이지안 이 아닙니다 . 더 좋은 것은, 인과 관계 유대 진주는 두 모델 학교가 거의 동일하다는 것입니다. 그렇다면 중요한 차이점은 무엇입니까? (SEM의 Wikipedia 페이지에는이 글을 쓰는 시점에 "네트워크"라는 단어조차 포함되어 있지 않습니다.)

19 sem  bayesian-network  causality 

Wikipedia에 따르면, 표본이 정규 분포 모집단의 iid 관측치 인 경우 t- 분포는 t- 값의 표본 분포입니다. 그러나 왜 t- 분포의 모양이 뚱뚱한 꼬리에서 거의 완벽하게 정상으로 바뀌는지를 직관적으로 이해하지 못합니다. 정규 분포에서 샘플링하는 경우 큰 표본을 추출하면 해당 분포와 비슷하지만 뚱뚱한 꼬리 모양으로 시작하는 이유는 알 수 없습니다.

19 normal-distribution  t-distribution