통계 및 빅 데이터

통계, 기계 학습, 데이터 분석, 데이터 마이닝 및 데이터 시각화에 관심있는 사람들을위한 Q & A

1
두 세계의 충돌 : 복잡한 설문 조사 데이터에 ML 사용
나는 겉으로는 쉬운 문제에 부딪 쳤지 만 지금은 몇 주 동안 적합한 해결책을 찾지 못했습니다. 필자는 가중치, 계층화, 특정 라우팅 등을 사용하여 복잡한 디자인 설문 조사라고 부르는 설문 조사라고 불리는 많은 설문 조사 / 설문 조사 데이터 (데이터 세트 당 50k와 같은 수천 명의 응답자)를 보유하고 있습니다. 각 응답자에 대해 …

3
베타 랜덤 변수의 역 정규 CDF는 어떤 분포를 따르는가?
다음을 정의한다고 가정하십시오. X∼Beta(α,β)X∼Beta(α,β)X\sim\mbox{Beta}(\alpha,\beta) Y∼Φ−1(X)Y∼Φ−1(X)Y\sim \Phi^{-1}(X) 여기서 Φ−1Φ−1\Phi^{-1} 은 표준 정규 분포 의 CDF의 역수입니다 . 내 질문은 : Y가 따르는 간단한 분포가 있습니까 , 아니면 Y와 근사 할 수 있습니까? YYYYYY나는 α 와 β 가 높을 때 YYY 가 정규 분포로 수렴 한다는 시뮬레이션 결과 (아래 그림 참조)를 기반으로 …

2
Palantir의 아시아 차별 사례 : 확률은 어떻게 계산 되었습니까?
노동당이 아시아 인에 대한 차별로 그들을 고발 한 Palantir의 사건에 관한 이 기사 를 읽었습니다 . 이 확률 추정치를 어디서 얻었는지 아는 사람이 있습니까? 항목 (a)에서 1/741을 얻지 못했습니다. (a) QA 엔지니어 직책의 경우 약 730 명 이상의 자격을 갖춘 지원자 ​​(약 77 %가 아시아 인)에서 팔란 타르는 아시아 이외의 …

3
RNN에서 시간이지나면서 다시 전파되는 이유는 무엇입니까?
반복적 인 신경망에서는 일반적으로 여러 시간 단계를 통해 전파되고 네트워크를 "롤링 해제"한 다음 입력 시퀀스를 통해 전파됩니다. 시퀀스에서 각 개별 단계 후에 가중치를 업데이트하지 않는 이유는 무엇입니까? (잘림 길이 1을 사용하는 것과 동일하므로 롤링 할 것이 없습니다.) 이것은 사라지는 기울기 문제를 완전히 제거하고 알고리즘을 크게 단순화하며 아마도 현지 최소값에 걸릴 …

2
두 개의 선형 회귀 모델이 주어지면 어떤 모델이 더 잘 수행됩니까?
대학에서 기계 학습 과정을 수강했습니다. 퀴즈 중 하나 에서이 질문을 받았습니다. 모델 1 : y=θx+ϵy=θx+ϵ y = \theta x + \epsilon 모델 2 : y=θx+θ2x+ϵy=θx+θ2x+ϵ y = \theta x + \theta^2 x + \epsilon 위의 모델 중 어느 것이 데이터에 더 적합합니까? (선형 회귀를 사용하여 데이터를 모델링 할 수 있다고 …


3
패턴 인식 작업에서 최첨단 앙상블 학습 알고리즘?
이 질문의 구조는 다음과 같습니다. 처음에는 앙상블 학습 의 개념을 제공하고 , 추가로 패턴 인식 작업 목록을 제공 한 다음 앙상블 학습 알고리즘의 예를 제공하고 마지막으로 내 질문을 소개합니다. 모든 추가 정보가 필요하지 않은 사람들은 헤드 라인을보고 바로 내 질문으로 넘어갈 수 있습니다. 앙상블 학습이란 무엇입니까? Wikipedia 기사 에 따르면 …

1
신경망을 훈련 할 때 훈련 예제가 너무 적습니까?
첫 프로젝트를 시작하려고하는 초보자입니다. 곡 분류 프로젝트를 염두에 두었지만 수동으로 레이블을 지정하기 때문에 약 1000 곡 또는 60 시간의 음악 만 합리적으로 정리할 수있었습니다. 나는 여러 클래스로 분류하고 있으므로 한 클래스는 훈련 세트에서 50-100 곡의 노래를 가질 수 있습니다. 이것은 너무 적은 것 같습니다! 신경망을 훈련시키는 데 필요한 데이터 양에 …

2
긴급 상황 표 대신에 심슨의 역설을 방정식으로 설명해 주시겠습니까?
아마도 심슨의 역설에 대한 명확한 이해가 없을 것입니다 . 비공식적으로 나는 모든 가능한 수준의 요인 A에 대해 그룹화 된 반응 Y1의 평균이 각 수준의 A (각 그룹)에 대한 Y1의 평균이 항상 Y2의 해당 평균보다 작습니다. 나는 예제를 읽었지만 그것을 볼 때마다 여전히 놀랍습니다. 어쩌면 구체적인 예제로는 잘 배우지 못했기 때문일 …

1
표본 상관 계수가 모집단 상관 계수의 편향 추정치입니까?
가 대해 편향 추정치 라는 것이 사실 입니까? 즉, ρ X , Y E [ R X , Y ] = ρ X , Y ?RX,YRX,YR_{X,Y}ρX,YρX,Y\rho_{X,Y}E[RX,Y]=ρX,Y?E[RX,Y]=ρX,Y?\mathbf{E}\left[R_{X,Y}\right]=\rho_{X,Y}? 그렇지 않다면, 대한 편견 추정기는 무엇 입니까? (어쩌면 사용되는 표준 편견 추정기가 있을까요? 또한 편향된 표본 분산에 ?nρX,YρX,Y\rho_{X,Y}nn−1nn−1\frac{n}{n-1} 모집단 상관 계수는 샘플 상관 계수는ρX,Y=E[(X−μX)(Y−μY)]E[(X−μX)2]−−−−−−−−−−−−√E[(Y−μY)2]−−−−−−−−−−−−√,ρX,Y=E[(X−μX)(Y−μY)]E[(X−μX)2]E[(Y−μY)2],\rho_{X,Y}=\frac{\mathbf{E}\left[\left(X-\mu_{X}\right)\left(Y-\mu_{Y}\right)\right]}{\sqrt{\mathbf{E}\left[\left(X-\mu_{X}\right)^{2}\right]}\sqrt{\mathbf{E}\left[\left(Y-\mu_{Y}\right)^{2}\right]}},RX,Y=∑ni=1(Xi−X¯)(Yi−Y¯)∑ni=1(Xi−X¯)2−−−−−−−−−−−−−√∑ni=1(Yi−Y¯)2−−−−−−−−−−−−√.RX,Y=∑i=1n(Xi−X¯)(Yi−Y¯)∑i=1n(Xi−X¯)2∑i=1n(Yi−Y¯)2.R_{X,Y}=\frac{\sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)\left(Y_{i}-\bar{Y}\right)}{\sqrt{\sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2}}\sqrt{\sum_{i=1}^{n}\left(Y_{i}-\bar{Y}\right)^{2}}}.

2
해밀턴 몬테 카를로
누군가 Hamiltonian Monte Carlo 방법의 기본 아이디어를 설명 할 수 있습니까? 그렇다면 Markov Chain Monte Carlo 방법보다 더 나은 결과를 얻을 수 있습니까?
14 bayesian  mcmc  hmc 

1
가중 상관과 같은 것?
가장 인기있는 음악가들에 대한 흥미로운 데이터가 위치별로 나누어 약 200 개의 의회 구역으로 나뉘어 있습니다. 나는 음악적 취향에 따라 사람을 조사 할 수 있고 "민주당처럼 들리는 지"또는 "공화당처럼 들리는 지"를 결정할 수 있는지 알고 싶다. (당연히 이것은 가벼운 마음이지만 데이터에는 실제 엔트로피가 있습니다!) 지난 3 번의 선거주기 동안 각 지구에서 …

1
여러 매개 변수에 대한 Jeffreys
경우에 따라 전체 다차원 모델 이전의 Jeffreys가 일반적으로 부적절한 것으로 간주됩니다. 예를 들면 다음과 같습니다. ( , 및 unknown으로 다음과 같은 이전을 선호합니다 (Jeffreys 이전의 ) : 유지 될 때 이전에 얻어진 제프리스이다 고정 (및 유사 대 ). 이 사전은 \ sigma를 치료할 때 이전의 참조와 일치합니다와이나는= μ + ε나는,와이나는=μ+ε나는, …

2
MCMC의 성능 벤치 마크
일련의 테스트 밀도에서 여러 가지 다른 알고리즘의 성능을 비교하는 MCMC 방법에 대한 대규모 연구가 있었습니까? Rios and Sahinidis의 논문 (2013) 과 비슷한 것을 생각 하고 있는데 , 이는 여러 클래스의 테스트 기능에 대한 많은 파생없는 블랙 박스 최적화 프로그램을 철저히 비교 한 것입니다. MCMC의 경우, 성능은 예를 들어 밀도 평가 …

4
참고 : SSTSSTSST = 총 제곱합, SSESSESSE = 제곱 오차의 합, SSRSSRSSR = 회귀 제곱합. 제목의 방정식은 종종 다음과 같이 작성됩니다. ∑i=1n(yi−y¯)2=∑i=1n(yi−y^i)2+∑i=1n(y^i−y¯)2∑i=1n(yi−y¯)2=∑i=1n(yi−y^i)2+∑i=1n(y^i−y¯)2\sum_{i=1}^n (y_i-\bar y)^2=\sum_{i=1}^n (y_i-\hat y_i)^2+\sum_{i=1}^n (\hat y_i-\bar y)^2 매우 간단한 질문이지만 직관적 인 설명을 찾고 있습니다. 직관적으로, SST≥SSE+SSRSST≥SSE+SSRSST\geq SSE+SSR 이 더 의미가있는 것처럼 보입니다 . 예를 들어, 가정하자 점 …

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.