통계 및 빅 데이터

동료는 기능이 우리의 목적은 블랙 박스입니다. 이 함수 는 두 객체 의 유사성 를 측정 합니다.s ( a , b )ssss(a,b)s(a,b)s(a,b) 우리는 에 다음과 같은 속성이 있음을 알고 있습니다.sss 유사성 점수는 0과 1 사이의 실수입니다. 자체적으로 동일한 객체의 점수는 1입니다. 따라서 의미 하며 그 반대도 마찬가지입니다.a = bs(a,b)=1s(a,b)=1s(a,b)=1a=ba=ba=b 우리는 보장되는 …

11 kernel-trick  distance  similarities  rbf-kernel 

보자X1,X2,…X1,X2,…X_1,X_2,\ldots 확률 밀도 함수와 독립적으로 동일하게 분산 된 랜덤 변수들의 시퀀스 일; f(x)={12x2e−x0if x>0;otherwise.f(x)={12x2e−xif x>0;0otherwise. f(x) = \left\{ \begin{array}{ll} \frac{1}{2}x^2 e^{-x} & \mbox{if $x>0$};\\ 0 & \mbox{otherwise}.\end{array} \right. 보여limn→∞P[X1+X2+…+Xn≥3(n−n−−√)]≥12limn→∞P[X1+X2+…+Xn≥3(n−n)]≥12\lim_{n\to \infty} P[X_1+X_2+\ldots+X_n\ge 3(n-\sqrt{n})] \ge \frac{1}{2} 내가 시도한 것 첫눈에 나는 질문이 쇼에게 하한 요청하는대로 체비 쇼프 부등식을 사용한다고 생각 X1+X2+…+XnX1+X2+…+XnX_1+X_2+\ldots +X_n …

11 probability  self-study 

Bayes 추정기는 선택 바이어스에 면역성이 있습니까? 전체 게놈 서열 데이터와 같은 높은 차원의 추정에 대해 논의하는 대부분의 논문은 종종 선택 편향 문제를 제기합니다. 선택 편견은 수천 개의 잠재적 예측 변수가 있지만 선택되는 소수는 거의 없으며 선택된 소수에 대해서는 추론이 수행된다는 사실에서 비롯됩니다. 따라서 프로세스는 두 단계로 진행됩니다. (1) 예측 변수의 …

11 bayesian  feature-selection  bias  unbiased-estimator  conjugate-prior 

진술을 증명하려고합니다. 만약 및 독립 확률 변수이고,X∼N(0,σ21)X∼N(0,σ12)X\sim\mathcal{N}(0,\sigma_1^2)Y∼N(0,σ22)Y∼N(0,σ22)Y\sim\mathcal{N}(0,\sigma_2^2) 그런 다음 도 일반 랜덤 변수입니다.XYX2+Y2√XYX2+Y2\frac{XY}{\sqrt{X^2+Y^2}} 특별한 경우 (예 : )의 경우 와 가 독립적 인 변수 때마다 . 실제로 가 더 일반적으로 알려져 있습니다. 는 독립적 인 변수입니다.σ1=σ2=σσ1=σ2=σ\sigma_1=\sigma_2=\sigmaXYX2+Y2√∼N(0,σ24)XYX2+Y2∼N(0,σ24)\frac{XY}{\sqrt{X^2+Y^2}}\sim\mathcal{N}\left(0,\frac{\sigma^2}{4}\right)XXXYYYN(0,σ2)N(0,σ2)\mathcal{N}(0,\sigma^2)XYX2+Y2√,X2−Y22X2+Y2√XYX2+Y2,X2−Y22X2+Y2\frac{XY}{\sqrt{X^2+Y^2}},\frac{X^2-Y^2}{2\sqrt{X^2+Y^2}}N(0,σ24)N(0,σ24)\mathcal{N}\left(0,\frac{\sigma^2}{4}\right) 마지막 결과의 증거는 (X, Y) \ to (R, \ Theta) \ to (U, V) …

11 self-study  distributions  mathematical-statistics  normal-distribution  random-variable 

다항식 회귀의 신뢰 구간 모양을 파악하기가 어렵습니다. 여기서 인공 . 왼쪽 그림은 UPV (비 스케일 예측 분산)를 나타내고 오른쪽 그래프는 신뢰 구간과 X = 1.5, X = 2 및 X = 3에서 측정 된 (인공) 점을 보여줍니다.와이^= a + b ⋅ X+ c ⋅ X2와이^=ㅏ+비⋅엑스+씨⋅엑스2\hat{Y}=a+b\cdot X+c\cdot X^2 기본 데이터의 세부 …

11 regression  confidence-interval 

폐쇄되었습니다 . 이 질문에는 세부 사항이나 명확성 이 필요 합니다 . 현재 답변을받지 않습니다. 이 질문을 개선하고 싶습니까? 이 게시물 을 편집 하여 세부 사항을 추가하고 문제점을 명확하게하십시오 . 휴일 2 년 전 . 저는 교수가 우리에게 진정한 회귀 모델을 만들고, 데이터 샘플을 시뮬레이션하고, 수업에서 배운 몇 가지 기술을 사용하여 …

11 self-study  multiple-regression  estimation  linear-model 

이 문제를 해결하기 위해 노력하고 있습니다. 주사위는 100 번 굴립니다. 얼굴이 20 번 이상 나타나지 않을 확률은 얼마입니까? 내 첫 번째 생각은 이항 분포 P (x) = 1-6 cmf (100, 1/6, 20)를 사용하는 것이었지만 일부 사례를 두 번 이상 계산하기 때문에 분명히 잘못되었습니다. 두 번째 아이디어는 가능한 모든 롤 x1 …

11 probability  mathematical-statistics  binomial  dice 

Adaboost는 많은 약한 학습자를 결합하여 강력한 학습자를 형성하는 앙상블 방법입니다. 내가 읽은 adaboost의 모든 예는 약한 학습자로 사용 의사 결정 그루터기 / 트리를 읽었습니다. 다른 약한 학습자를 adaboost에서 사용할 수 있습니까? 예를 들어, 로지스틱 회귀 모델을 높이기 위해 adaboost (일반적으로 boosting)를 구현하는 방법은 무엇입니까? 분류 트리와 로지스틱 회귀 분석의 한 …

11 logistic  adaboost 

무작위로 생성 된 8 천만 +1과 0의 데이터 파일을 가정합니다. 이 파일에서 임의의 10 진 정수 목록을 작성하려고합니다. 이것이이 전환을 수행 할 계획입니다. 8 천만 자리를 4 개의 이진수로 그룹화하십시오. 각 4 자리 이진수를 10 진수로 변환합니다. 9보다 큰 모든 10 진수 값을 버립니다. 이것은 0-9의 임의의 정수 문자열을 초래합니다 …

11 monte-carlo  random-generation  randomness 

나는 어떤 시점에서 다른 확률에 대한 하나의 확률 측정의 Radon-Nikodym 미분을 사용하는 것을 보았는데, 특히 Kullback-Leibler 발산에서 임의의 매개 변수 에 대한 모델의 확률 측정의 미분 실제 매개 변수 과 관련하여 :θθ\thetaθ0θ0\theta_0 dPθdPθ0dPθdPθ0\frac {dP_\theta}{dP_{\theta_0}} 둘 다 매개 변수 값에 조건부 인 데이터 포인트 공간에 대한 확률 측정치 인 경우 .Pθ(D)=P(D|θ)Pθ(D)=P(D|θ)P_\theta(D)=P(D|\theta) …

11 mathematical-statistics  kullback-leibler  derivative  measure-theory 

예를 들어, 사람의 사진을 기반으로 연령 추정기를 구축한다고 가정 해 봅시다. 아래에는 정장을 입은 두 사람이 있지만 첫 번째 사람은 두 번째 사람보다 젊습니다. (출처 : tinytux.com ) 이것을 의미하는 많은 특징, 예를 들어면 구조가 있습니다. 그러나 가장 눈에 띄는 특징은 머리 크기와 신체 크기 의 비율입니다 . (출처 : …

11 neural-networks  computer-vision 

이 질문은 Martijn의 답변 에서 영감을 얻었습니다 . 이항 또는 포아송 모델과 같은 하나의 매개 변수 패밀리에 대해 GLM을 적합하고 그것이 완전 유사성 절차라고 가정합니다 (quasipoisson과 반대). 그런 다음 분산은 평균의 함수입니다. 이항식 : 및 Poisson var [ X ] = E [ X ] .var[X]=E[X]E[1−X]var[X]=E[X]E[1−X]\text{var}[X] = E[X]E[1-X]var[X]=E[X]var[X]=E[X]\text{var}[X] = E[X] …

11 regression  generalized-linear-model  inference  approximation  t-distribution 

나는 이 노트를 보고 있었고 , 나는이 진술에 당황했다. 정규성에 대해 이야기 할 때 데이터가 정규 분포와 같아야한다는 의미입니다. 여러 통계 검정 (예 : t- 통계)에 의존하기 때문에 이것은 중요합니다. T- 통계량이 정규 분포를 따르기 위해 데이터가 필요한 이유를 이해하지 못합니다. 실제로 Wikipedia는 같은 것을 말합니다. 학생의 t- 분포 (또는 …

11 mathematical-statistics  normal-distribution 

일 변량 회귀 설정에서 모형화를 시도합니다 와이= Xβ+ n o i s e와이=엑스β+엔영형나는에스이자형y = X\beta +noise 여기서 은 n 개의 관측치로 구성된 벡터 이고 X ∈ R n × m 은 m 개의 예측 변수가 있는 설계 행렬입니다 . 용액은 β 0 = ( X T X ) - (1) …

11 regression  multivariate-analysis  multivariate-regression 

같은 Y와 3 단계 X의 두 회귀가 있습니다. 각 그룹 또는 X 수준에서 n = 5 인 전체 n = 15입니다. 첫 번째 회귀는 X를 범주 형으로 취급하여 지표 변수를 수준이있는 수준 2와 3에 할당합니다. 하나는 참조입니다. 표시기 / 인형은 다음과 같습니다. 레벨 = 2 인 경우 X1 = 1, …

11 regression  anova