통계 및 빅 데이터

통계, 기계 학습, 데이터 분석, 데이터 마이닝 및 데이터 시각화에 관심있는 사람들을위한 Q & A


2
Simpson의 역설은 숨겨진 변수의 모든 역전 사례를 포함합니까?
다음은 심슨의 역설이 존재한다는 '그림으로 증명 된'것으로 제시된 많은 시각화에 대한 질문이며 아마도 용어에 대한 질문입니다. 심슨의 역설은 매우 간단 현상을 설명하고 (이유의 수치 예를 제공하는 것입니다 왜 이 깊고 재미 발생할 수에게). 역설은 한계 연관이 각 조건부 연관과 다른 방향을 갖는 2x2x2 우발 테이블 (Agresti, Categorical Data Analysis)이 존재한다는 …

2
쉬운 증거 ?
하자 독립적 인 표준 정규 확률 변수합니다. 거기에 많은 (긴) 증명이 있으며,Z1,⋯,ZnZ1,⋯,ZnZ_1,\cdots,Z_n ∑i=1n(Zi−1n∑j=1nZj)2∼χ2n−1∑i=1n(Zi−1n∑j=1nZj)2∼χn−12 \sum_{i=1}^n \left(Z_i - \frac{1}{n}\sum_{j=1}^n Z_j \right)^2 \sim \chi^2_{n-1} 많은 증거는 꽤 길며 그중 일부는 유도를 사용합니다 (예 : Casella Statistical Inference). 이 결과에 대한 쉬운 증거가 있는지 궁금합니다.

1
Pitman–Koopman–Darmois 정리의 학부 수준 증명
Pitman–Koopman–Darmois 정리는 매개 변수화 된 확률 분포 군의 iid 표본이 표본 크기에 따라 스칼라 성분 수가 증가하지 않는 충분한 통계량을 허용하면 지수 군이라고 말합니다. 교과서 나 초등 해설 논문이 증거를 제공합니까? 왜 그 세 사람의 이름을 따서 명명 되었습니까?

1
페어 별 한계 분포에서 공동 분포 얻기
3 개의 임의의 변수 이 있고 페어 별 한계 분포 알고 있지만 다른 것은 모릅니다 (예 : 조건부 독립으로). 공동 분포 얻을 수 있습니까 ?엑스1, X2, X삼엑스1,엑스2,엑스삼X_1,X_2,X_3피( X1, X2) , P( X2,X삼) , P(X삼,X1)피(엑스1,엑스2),피(엑스2,엑스삼),피(엑스삼,엑스1)P(X_1,X_2), P(X_2,X_3), P(X_3,X_1)피( X1, X2, X삼)피(엑스1,엑스2,엑스삼)P(X_1,X_2,X_3)

1
seq2seq RNN 모델의 점수를 매기려면 어떤 손실 함수를 사용해야합니까?
seq2seq 모델링을위한 인코더-디코더 아키텍처를 소개 한 Cho 2014 논문을 연구하고 있습니다. 이 논문에서 그들은 입력이 주어진 입력의 확률 을 길이 의 입력 와 길이 출력 에 대한 손실 함수로 사용하는 것처럼 보입니다 (또는 음의 로그 가능성) :M y NxxxMMMyyyNNN P(y1,…,yN|x1,…,xM)=P(y1|x1,…,xm)P(y2|y1,x1,…,xm)…P(yN|y1,…,yN−1,x1,…,xm)P(y1,…,yN|x1,…,xM)=P(y1|x1,…,xm)P(y2|y1,x1,…,xm)…P(yN|y1,…,yN−1,x1,…,엑스미디엄)P(y_1, …, y_N | x_1, …, x_M) = P(y_1 | x_1, …



1
올가미는 디자인 매트릭스 크기에 어떻게 비례합니까?
I는 설계 행렬 있다면 여기서, 차원의 관찰의 수이고 , 풀면의 복잡성 무엇 LASSO, wrt 및 와 함께 ? 대답은 달리 느끼지 않는 한 반복 횟수 (수렴)가 어떻게 조정되는지가 아니라 하나의 LASSO 반복이 이러한 매개 변수로 스케일링 되는 방식을 참조해야한다고 생각합니다 . N 거라고 β = argmin β 1X∈Rn×dX∈Rn×dX\in\mathcal{R}^{n\times d}nnndddN의Dβ^=argminβ12n||Xβ−y||2+λ||β||1β^=argminβ12n||Xβ−y||2+λ||β||1\hat{\beta}=\text{argmin}_{\beta}\frac{1}{2n} ||X\beta-y||^{2} …

2
OLS를 사용하여 잔차의 오차를 회귀 할 때 기울기가 항상 정확히 1 인 이유는 무엇입니까?
R에서 간단한 시뮬레이션을 사용하여 오차와 잔차 간의 관계를 실험하고 있습니다. 내가 찾은 것 중 하나는 표본 크기 또는 오차 분산에 관계없이 모델에 적합 할 때 항상 기울기에 대해 정확히 을 얻는다는 것 입니다.111 e r r o r s ∼ β0+ β1× r e s i d u a l …


3
데이터 과학자 인터뷰 질문 : 선형 회귀가 낮은 및 무엇을 하시겠습니까?
면접관이 귀하의 가 가격 탄력성 모델에 대해 매우 낮다고 (5-10 % 사이) 가정 한 작업에 대한 인터뷰 질문에 직면했습니다 . 이 질문을 어떻게 해결 하시겠습니까?아르 자형2R2R^2 무엇이 잘못되었거나 선형이 아닌 방법을 적용해야하는지 확인하기 위해 회귀 진단을 수행한다는 사실 이외의 다른 생각은 할 수 없었습니다. 어떻게 든 면접관이 내 대답에 만족하지 …

1
수동 다항식 확장에 대해 다른 예측을 받고 R 'poly'함수를 사용하는 이유는 무엇입니까?
수동 다항식 확장과 R poly함수 사용에 대해 다른 예측을 얻는 이유는 무엇 입니까? set.seed(0) x <- rnorm(10) y <- runif(10) plot(x,y,ylim=c(-0.5,1.5)) grid() # xp is a grid variable for ploting xp <- seq(-3,3,by=0.01) x_exp <- data.frame(f1=x,f2=x^2) fit <- lm(y~.-1,data=x_exp) xp_exp <- data.frame(f1=xp,f2=xp^2) yp <- predict(fit,xp_exp) lines(xp,yp) # using poly function …

1
성향 점수 가중치에서 치료 가중치의 역 확률 (IPTW)에 대한 직관적 인 설명?
성향 점수 사용하여 가중치를 계산하는 메커니즘을 이해합니다 . 그리고 회귀 분석에서 가중치를 적용하고 가중치가 치료 및 대조군 집단 집단에서 공변량의 효과를 "조절"하거나 결과 변수와 연관을 해제시킨다.p(xi)p(xi)p(x_i)wi,j=treatwi,j=control=1p(xi)=11−p(xi)wi,j=treat=1p(xi)wi,j=control=11−p(xi)\begin{align} w_{i, j={\rm treat}} &= \frac{1}{p(x_i)} \\[5pt] w_{i, j={\rm control}} &= \frac{1}{1-p(x_i)} \end{align} 그러나 직감 수준에서 가중치가 어떻게 달성되는지, 왜 방정식이 그대로 구성되는지 이해하지 못합니다.

3
통계 학자들은 LASSO (정규화)의 작동 방식을 실제로 이해하지 못한다고 말할 때 무엇을 의미합니까?
나는 최근 올가미 (정규화)에 관한 몇 가지 통계 토론에 참석했으며 계속 올라가는 요점은 올가미가 왜 작동하는지 또는 왜 그렇게 잘 작동하는지 이해하지 못한다는 것입니다. 이 진술이 무엇을 말하는지 궁금합니다. 분명히 나는 ​​올가미가 매개 변수 축소로 과적 합을 방지하여 기술적으로 작동하는 이유를 이해하지만 그러한 진술 뒤에 더 깊은 의미가 있는지 궁금합니다. …

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.