통계 및 빅 데이터

시장 간 분석은 서로 다른 시장 간의 관계를 찾아 시장 행동을 모델링하는 방법입니다. 종종 S & P 500과 30 년 미국 국채 등 두 시장 사이의 상관 관계가 계산됩니다. 이러한 계산은 가격 데이터를 기반으로하지 않는 경우가 많으며, 이는 고정 시계열의 정의에 맞지 않음을 모든 사람에게 분명합니다. 가능한 해결책은 제쳐두고 (대신에 …

27 correlation  stationarity 

질문 : 통계 학자 (또는 실무자)의 입장에서 , 관찰 연구 ( 실험이 아닌)에서 성향 점수 를 사용하여 인과성을 추론 할 수 있습니까? 화염 전쟁이나 광적인 토론을 시작하고 싶지 않습니다. 배경 : stat PhD 프로그램 내에서 우리는 실무 그룹과 몇 가지 주제 세션을 통해 인과 추론에 대해서만 다루었습니다. 그러나 다른 부서 …

27 causality  propensity-scores 

Quantum Mechanics는 대부분 간섭 패턴, 파동 / 입자 이중성 및 일반적으로 이상한 것들을 설명하기 위해 음수 / 상수로 확률 이론을 일반화했습니다. 그러나 베이지안 확률의 비 계산적 일반화 (Terrence Tao의 인용)로보다 추상적으로 볼 수 있습니다. 나는 결코 전문가가 아니지만 이러한 것들에 대해 궁금합니다. Quantum Mechanics 외부에 응용 프로그램이 있습니까? 그냥 궁금해서

27 probability 

내 모든 변수는 연속적입니다. 레벨이 없습니다. 심지어 수 있는가 가 변수 사이의 상호 작용을?

27 regression  modeling  interaction 

저는 통계 학자보다 프로그래머에 가깝기 때문에이 질문이 너무 순진하지 않기를 바랍니다. 임의의 시간에 프로그램 실행을 샘플링 할 때 발생합니다. 프로그램 상태의 N = 10 임의 시간 샘플을 취하면 Foo 함수가 실행되고 있음을 알 수 있습니다 (예 : 해당 샘플의 I = 3). Foo가 실행되는 시간 F의 실제 비율에 대해 알려주는 …

27 binomial  beta-binomial  beta-distribution 

현재 약 2 천만 개의 레코드를 분석하고 예측 모델을 작성해야합니다. 지금까지 Statistica, SPSS, RapidMiner 및 R을 사용해 보았습니다.이 통계 중 데이터 마이닝을 처리하는 데 가장 적합한 것으로 보이며 RapidMiner 사용자 인터페이스도 매우 편리하지만 Statistica, RapidMiner 및 SPSS는 소규모 데이터 세트에만 적합합니다. . 누구든지 큰 데이터 세트에 적합한 도구를 추천 할 …

27 large-data  software  data-mining 

타일 이있는 가방이 있고 각각에 글자 가있는 것으로 가정 해 봅시다 . 문자 'A' 가있는 타일, 'B'가있는 등, '와일드 카드'타일이 있습니다 ( n = n_A + n_B + \ ldots + n_Z + n_ *가 있습니다 ). 한정된 수의 단어가있는 사전이 있다고 가정합니다. 당신은 선택 K 교체없이 가방에서 타일을. 선택한 …

27 sampling  games  probability 

CIFAR10 데이터 세트에서 간단한 신경망을 훈련하고 있습니다. 얼마 후, 검증 손실이 증가하기 시작했지만 검증 정확도도 증가했습니다. 테스트 손실 및 테스트 정확도는 계속 향상됩니다. 이것이 어떻게 가능한지? 유효성 검증 손실이 증가하면 정확도가 저하되는 것 같습니다. 추신 : 비슷한 질문이 몇 개 있지만 아무도 그 일에 대해 설명하지 못했습니다.

27 neural-networks  deep-learning  conv-neural-network  overfitting 

저는 박사 학위를 위해 이론적 머신 러닝 (전이 학습, 구체적으로)을 연구하고 있습니다. 호기심으로 볼록 최적화 과정을 수강해야하는 이유는 무엇입니까? 이론적 인 머신 러닝에 대한 연구에서 볼록 최적화를 통해 얻을 수있는 것은 무엇입니까?

27 machine-learning  optimization  convex  transfer-learning 

회귀 모수 벡터 대한 올가미 추정치 B비B가 각 B i에 대한 이전 분포 가 이중 지수 분포 (라플라스 분포라고도 함) 인 의 사후 모드와 같다는 많은 참고 문헌을 읽었습니다 .B비BBi비나는B_i 나는 이것을 증명하려고 노력했다. 누군가가 세부 사항을 살릴 수 있습니까?

27 regression  bayesian  lasso  prior  regularization 

평균 정밀도 (AP)는 정밀도-회귀 곡선 (PR- 곡선의 AUC) 하의 영역입니까? 편집하다: 다음은 PR AUC와 AP의 차이점에 대한 의견입니다. AUC는 정밀도의 사다리꼴 보간에 의해 얻어진다. 대체적이고 대체로 거의 동등한 메트릭은 info.ap로 반환되는 평균 정밀도 (AP)입니다. 이것은 새로운 양의 샘플이 리콜 될 때마다 얻은 정밀도의 평균입니다. 정밀도가 일정한 세그먼트에 의해 보간되고 TREC에서 …

27 scikit-learn  precision-recall  auc  average-precision 

회귀 작업을 해결하려고합니다. LassoLARS, SVR 및 Gradient Tree Boosting의 3 가지 모델이 서로 다른 데이터 하위 집합에 잘 작동한다는 것을 알았습니다. 나는이 3 가지 모델을 모두 사용하여 예측을 한 다음 '실제 출력'과 내 3 가지 모델의 출력 테이블을 만들 때마다 적어도 하나의 모델이 실제로 실제 출력에 가깝다는 것을 알았습니다. 비교적 …

27 regression  scikit-learn  ensemble 

문제 : [R]의 혼합 효과 {lme4} 모델에 사용할 수없는 다른 게시물 을 읽었습니다 .predictlmer 장난감 데이터 세트 로이 주제를 탐색하려고했습니다 ... 배경: 데이터 세트는 이 소스 에서 적용되며 다음과 같이 사용할 수 있습니다. require(gsheet) data <- read.csv(text = gsheet2text('https://docs.google.com/spreadsheets/d/1QgtDcGJebyfW7TJsB8n6rAmsyAnlz1xkT3RuPFICTdk/edit?usp=sharing', format ='csv')) 다음은 첫 번째 행과 헤더입니다. > head(data) Subject Auditorium …

27 r  mixed-model  lme4-nlme 

k- 평균으로 이진 변수 (값 0 및 1)를 사용해야합니다. 그러나 k- 평균은 연속 변수에서만 작동합니다. k-means가 연속 변수 전용이라는 사실을 무시하고 일부 사람들은 여전히 ​​k-means에서이 이진 변수를 사용한다는 것을 알고 있습니다. 이것은 받아 들일 수 없습니다. 질문 : k- 평균 / 계층 군집화에서 이진 변수를 사용하는 통계적 / 수학적으로 올바른 …

27 r  clustering  binary-data  k-means  mixed-type-data 

저는 1 년 전에 Andrew Ng의 기계 학습 과정을 수료했으며 이제 로지스틱 회귀 작업과 성능 최적화 기술에 대한 고등학교 수학 탐구를 작성하고 있습니다. 물론 이러한 기술 중 하나는 정규화입니다. 정규화의 목표는 모델 단순성의 목표를 포함하도록 비용 함수를 확장하여 과적 합을 방지하는 것입니다. 우리는 비용 함수에 각 가중치를 제곱하고 정규화 매개 …

27 regression  machine-learning  optimization  regularization  overfitting