통계 및 빅 데이터

주교의 책 "패턴 분류 및 기계 학습"에서 신경망의 맥락에서 정규화하는 기술을 설명합니다. 그러나 훈련 과정에서 모델의 복잡성과 함께 자유도가 증가한다는 단락을 이해하지 못합니다. 관련 인용문은 다음과 같습니다. 네트워크의 효과적인 복잡성을 제어하는 ​​방법으로 정규화의 대안은 조기 중지 절차입니다. 비선형 네트워크 모델의 학습은 일련의 학습 데이터와 관련하여 정의 된 오류 함수의 반복 …

17 machine-learning  neural-networks  regularization  degrees-of-freedom 

편향되지 않은 가중 분산은 이미 여기 와 다른 곳에서 해결 되었지만 여전히 놀라운 양의 혼란이있는 것 같습니다. Wikipedia 기사 뿐만 아니라 첫 번째 링크에 제시된 공식에 대한 합의가있는 것으로 보인다 . 이것은 또한 R, Mathematica 및 GSL (MATLAB 제외)에서 사용하는 공식처럼 보입니다. 그러나 Wikipedia 기사에는 가중 분산 구현에 대한 훌륭한 …

17 variance  weighted-mean  weighted-data 

식물 epiphytes의 밀도에 관한 데이터의 ANCOVA 분석을 수행하고 싶습니다. 처음에는 두 경사면, 하나의 N과 S 사이에 식물 밀도에 차이가 있는지 알고 싶습니다만, 호스트 식물의 고도, 캐노피 개방도 및 높이와 같은 다른 데이터가 있습니다. 공변량이 두 개의 경사 (N 및 S) 여야한다는 것을 알고 있습니다. 나는 R에서 실행되는이 모델을 만들었고 그것이 …

17 r  ancova 

귀하가 통계 부서의 도서관에 있고 첫 페이지에 다음 그림이있는 책을 발견했다고 가정하십시오. 아마 이것이 선형 회귀에 관한 책이라고 생각할 것입니다. 선형 혼합 모델에 대해 생각하게 될 그림은 무엇입니까?

17 mixed-model 

교차 검증 결과가 정확히 무엇인지 알려주는 사람이 있습니까? 그것은 단지 평균 정확도입니까 아니면 매개 변수가 조정 된 모델을 제공합니까? 교차 검증이 매개 변수 조정에 사용된다고 들었습니다.

17 cross-validation 

농업 시험에 대한 데이터 세트가 있습니다. 내 응답 변수는 응답 비율입니다 : log (treatment / control). 차이점을 중재하는 것에 관심이 있으므로 RE 메타 회귀 분석을 실행합니다 (가중치가 적용되지 않음). 효과 크기가 추정치의 변화와 관련이 없다는 것이 매우 분명하기 때문입니다. 각 연구는 곡물 생산량, 바이오 매스 생산량 또는 둘 다를보고합니다. 연구 …

17 missing-data  meta-analysis  multiple-imputation  meta-regression 

X와 Y가 독립적이라면 두 개의 독립적 인 랜덤 변수 X와 Y의 곱의 pdf는 무엇입니까? X는 정규 분포이고 Y는 카이 제곱 분포입니다. Z = XY 에 정규 분포가있는 경우 f X ( x ) = 1XXXX∼N(μx,σ2x)X∼N(μx,σx2)X\sim N(\mu_x,\sigma_x^2) fX(x)=1σx2π−−√e−12(x−μxσx)2fX(x)=1σx2πe−12(x−μxσx)2f_X(x)={1\over\sigma_x\sqrt{2\pi}}e^{-{1\over2}({x-\mu_x\over\sigma_x})^2} 및YYY는kkk자유도를 갖는 카이 제곱 분포를가짐 whre단위 계단 함수이다.Y∼χ2kY∼χk2Y\sim \chi_k^2 fY(y)=y(k/2)−1e−y/22k/2Γ(k2)u(y)fY(y)=y(k/2)−1e−y/22k/2Γ(k2)u(y)f_Y(y)={y^{(k/2)-1}e^{-y/2}\over{2^{k/2}\Gamma({k\over2})}}u(y)u(y)u(y)u(y) 이제 의 PDF는 …

17 normal-distribution  chi-squared  random-variable 

나는 신경망의 분야에 뛰어 들었고 그들에 매료되었습니다. 마지막으로 증권 거래소에서 거래 시스템을 테스트하기위한 애플리케이션 프레임 워크를 개발했으며 이제는 첫 번째 신경망을 구현할 것입니다. 매우 간단하고 원시적 인 것으로, 실제 거래 용이 아닌 초보자 용입니다. 내 접근 방식이 좋은 접근 방법인지 알고 싶습니다. 그리고 당신이 내가 무언가를 놓치고 있거나 (또는 ​​무언가에 …

17 machine-learning  neural-networks 

이 지역 프로젝트를 통해 현지 뉴스 웹 사이트를 크롤링하고 범죄 지수와 정치적 불안정 지수를 구축하려고합니다. 프로젝트의 정보 검색 부분을 이미 다뤘습니다. 나의 계획은 : 감독되지 않은 주제 추출. 거의 중복 감지. 감독 분류 및 사건 수준 (범죄 / 정치-높음 / 중간 / 낮음). 나는 파이썬과 sklearn을 사용하고 이미 그 작업에 …

17 machine-learning  classification  text-mining 

프레젠테이션에 가장 적합한 그래프 형식을 지정하는 방법에 대한 조언 / 자원 / 권장 사항을 찾고 있습니다. 경험상, 인쇄 출판물에 대해 생성 된 그래프는 비머를 사용하여 그래프를 표시 할 때 "확대"되지 않습니다. 텍스트가 너무 작거나 선이 충분히 두껍지 않은 경우가 종종 있습니다. .eps / .pdf 파일을 가져와 프레젠테이션에 직접 입력하는 것은 …

17 data-visualization 

나는 palaeo sciences에 사용 된 특정 유형의 모델을 맞추는 다른 방법에 대한 컴퓨터 기반 평가를 수행했습니다. 나는 큰 훈련 세트를 가지고 있었기 때문에 무작위로 (층화 된 무작위 샘플링) 테스트 세트를 따로 설정했습니다. 나는 훈련 세트 샘플에 mmm 개의 다른 방법을 적용하고 mmm 결과 모델을 사용하여 테스트 세트 샘플에 대한 응답을 …

17 r  mixed-model  multiple-comparisons  simulation  independence 

R에서 0으로 팽창 된 음 이항 혼합 효과 모델 추정을 제공하는 패키지가 있습니까? 그 말은 : pscl 패키지의 zeroinfl 함수에서와 같이 제로 인플레이션에 대한 이항 모델을 지정할 수있는 제로 인플레이션 : zeroinfl (y ~ X | Z, dist = "네 그빈") 여기서 Z는 제로 인플레이션 모델의 공식입니다. 모형의 카운트 부분에 …

17 r  mixed-model  count-data  negative-binomial  zero-inflation 

이것은 부분적으로 다음 질문 과 그에 따른 토론에 의해 동기가 부여됩니다 . iid 샘플 X i ~ F ( x , θ ) 가 관찰되었다고 가정합니다 Xi∼F(x,θ)X_i\sim F(x,\theta). 목표는 θ 를 추정하는 것입니다 θ\theta. 그러나 원본 샘플은 사용할 수 없습니다. 우리가 대신해야하는 샘플의 통계입니다 T 1 , . . . …

17 estimation  maximum-likelihood 

한때 인터넷에서 범주 형 데이터 (예 : 우연성 테이블)에 대한 플롯 형식을 우연히 발견했지만 다시는 찾지 못했으며 그것이 무엇인지조차 모릅니다. 행 높이와 열 너비가 한계 확률에 비례하여 조정되었다는 점에서 본질적으로 체 플롯과 같습니다. 따라서 각 상자는 독립 상태에서 예상되는 상대 주파수로 조정되었습니다. 그러나 각 상자 내에 교차 해칭을 표시하는 대신 …

17 r  data-visualization  categorical-data 

나는 각각 약 400의 크기와 약 300 개의 예측 변수를 가진 두 그룹의 주제 A와 B를 가지고 있습니다. 내 목표는 이진 반응 변수에 대한 예측 모델을 구축하는 것입니다. 고객은 A에서 B로 작성된 모델을 적용한 결과를보고 싶어합니다. 그의 저서 "Regression Modeling Strategies"에서 @FrankHarrell은 두 개의 데이터 세트를 결합하고 그에 대한 모델을 …

17 pca  logistic  predictive-models  robust