통계 및 빅 데이터

통계, 기계 학습, 데이터 분석, 데이터 마이닝 및 데이터 시각화에 관심있는 사람들을위한 Q & A

4
인공 신경망 다항식 특징을 갖는 선형 회귀와 동일합니까?
신경망에 대한 이해와 다른 기계 학습 알고리즘에 비해 그 이점을 향상시키고 싶습니다. 내 이해는 다음과 같으며 내 질문은 다음과 같습니다. 내 이해를 수정하고 보완 할 수 있습니까? :) 내 이해 : (1) 인공 신경망 = 입력 값에서 출력 값을 예측하는 함수입니다. Universal Approximation Theorem ( https://en.wikipedia.org/wiki/Universal_approximation_theorem ) 에 따르면 , …

3
공간의 임의 지점으로 L2 정규화를 구현하는 방법은 무엇입니까?
Ian Goodfellow의 저서 Deep Learning 에서 읽은 내용이 있습니다. 신경망의 맥락에서, "L2 매개 변수 규범 페널티는 일반적으로 무게 감소로 알려져 있습니다.이 정규화 전략은 가중치를 원점에 더 가깝게 이동시킵니다. [...] 더 일반적으로, 매개 변수를 특정 지점에 가깝게 정규화 할 수 있습니다. 공간에서 "라고하지만 모델 매개 변수를 0으로 정규화하는 것이 훨씬 일반적입니다. …

4
X와 XY의 상관 관계
두 개의 독립적 인 랜덤 변수 X와 Y가있는 경우 X와 곱 XY의 상관 관계는 무엇입니까? 이것이 알려지지 않은 경우, X와 Y가 특정 경우에 발생하는 일이 제로 평균으로 정상이라는 것을 아는 데 관심이 있습니다.

3
칼만 필터의 가능성이 더 부드러운 결과 대신 필터 결과를 사용하여 계산되는 이유는 무엇입니까?
나는 칼만 필터를 매우 표준적인 방법으로 사용하고 있습니다. 시스템은 상태 방정식 및 관측 방정식 됩니다.xt+1=Fxt+vt+1xt+1=Fxt+vt+1x_{t+1}=Fx_{t}+v_{t+1}yt=Hxt+Azt+wtyt=Hxt+Azt+wty_{t}=Hx_{t}+Az_{t}+w_{t} 교과서는 Kalman 필터를 적용하고 "일단 예측" (또는 "필터링 된 추정치")을 얻은 후에이를 사용하여 우도 함수를 계산해야한다고 가르칩니다 .x^t|t−1x^t|t−1\hat{x}_{t|t-1} fyt|It−1,zt(yt|It−1,zt)=det[2π(HPt|t−1H′+R)]−12exp{−12(yt−Hx^t|t−1−Azt)′(HPt|t−1H′+R)−1(yt−Hx^t|t−1−Azt)}fyt|It−1,zt(yt|It−1,zt)=det[2π(HPt|t−1H′+R)]−12exp⁡{−12(yt−Hx^t|t−1−Azt)′(HPt|t−1H′+R)−1(yt−Hx^t|t−1−Azt)}f_{y_{t}|\mathcal{I}_{t-1},z_{t}}\left(y_{t}|\mathcal{I}_{t-1},z_{t}\right)=\det\left[2\pi\left(HP_{t|t-1}H^{\prime}+R\right)\right]^{-\frac{1}{2}}\exp\left\{ -\frac{1}{2}\left(y_{t}-H\hat{x}_{t|t-1}-Az_{t}\right)^{\prime}\left(HP_{t|t-1}H^{\prime}+R\right)^{-1}\left(y_{t}-H\hat{x}_{t|t-1}-Az_{t}\right)\right\} 내 질문은 다음과 같습니다. 왜 우도 함수 는 "평활 추정" \ hat {x} _ {t …

5
분류에서와 같이 0.5 수준이 아닌 0.05 수준에서 귀무 가설을 기각하는 이유
가설 검정은 분류 문제와 유사합니다. 즉, 우리는 유죄 대 비 유죄 관찰에 대한 두 가지 가능한 레이블이 있습니다. 비 유죄를 귀무 가설로 삼으십시오. 분류 관점에서 문제를 본다면 데이터를 고려하여 두 분류에 속하는 주제의 확률을 예측하는 분류기를 훈련시킬 것입니다. 그런 다음 확률이 가장 높은 클래스를 선택합니다. 이 경우 0.5 확률이 자연 …

5
OLS 추정기가 척도 등변 량임을 보여주는가?
척도 등분 산에 대한 공식적인 정의는 없지만 통계 학습 입문에 대해 p. 217 : 표준 최소 제곱 계수는 스케일 등변 량입니다 . 에 상수 를 곱 하면 최소 제곱 계수 추정치의 배율이 의 계수로 이어집니다 .X jXjX_j c cc1 / c1/c1/c 간략화를 들어, 일반 선형 모델을 가정하자 , , 는 …

2
정규화 매개 변수 람다의 오류율이 볼록 함수입니까?
Ridge 또는 Lasso에서 정규화 매개 변수 람다를 선택할 때 권장되는 방법은 다른 람다 값을 시도하고 유효성 검사 세트에서 오류를 측정 한 다음 마지막으로 가장 낮은 오류를 반환하는 람다 값을 선택하는 것입니다. 함수 f (lambda) = error가 볼록한 경우 나에게 오지 않습니다. 이렇게 될 수 있을까요? 즉,이 곡선은 하나 이상의 지역 …


2
데이터를 시험과 훈련으로 나누는 것이 순전히 "통계"인가?
나는 기계 학습 / 데이터 과학을 공부하는 물리학 학생 이므로이 질문이 충돌을 시작한다는 의미는 아닙니다.) 그러나 물리 학부 프로그램의 대부분은 실험실 / 실험을 수행하는 것입니다. 이는 많은 데이터를 의미합니다. 처리 및 통계 분석. 그러나 물리학 자들이 데이터를 다루는 방식과 데이터 과학 / 통계 학습서가 데이터를 다루는 방식 사이에는 큰 차이가 …

2
확률로서의 상호 정보
관절 엔트로피를 통한 상호 정보는 다음과 같습니다. 0≤I(X,Y)H(X,Y)≤10≤I(X,Y)H(X,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 "X에서 Y로 정보를 전달할 확률"? 순진한 것은 유감이지만 정보 이론을 연구 한 적이 없으며 그 개념을 이해하려고 노력하고 있습니다.

1
Netflix가 5 성급 등급 시스템에서 유사 / 싫음 시스템으로 전환하는 이유는 무엇입니까?
Netflix는 사용자가 제출 한 다른 영화 / 쇼의 등급을 기준으로 제안을 사용했습니다. 이 등급 시스템에는 별 5 개가있었습니다. 이제 Netflix를 통해 사용자는 영화 / 쇼를 좋아하거나 싫어함 (thumbs-up / thumbs-down) 할 수 있습니다. 그들은 영화를 평가하는 것이 더 쉽다고 주장합니다. 이 2-way 분류가 5-way 분류 시스템보다 통계적으로 덜 예측 적이 …

2
중요하지 않은 결과를보고해야합니까?
Kruskal Wallis 테스트를 실행했으며 일부 질문에 대해 p 값이 중요하지 않습니다. df, 검정 통계량 및 p- 값을 나타내는 것과 같은 방식으로 중요하게보고합니까? 따라서 Kruskal Wallis 테스트가 수행되었지만 결과는 의미있는 H (3) = 2.119, p> 0.05가 아닙니다.

1
자유도가 테이블 끝을지나 가면 어떻게합니까?
내 F 테이블의 자유도는 큰 표본에 대해 충분히 높아지지 않습니다. 예를 들어, 자유도가 5 및 6744 인 F가있는 경우 분산 분석에 대한 5 % 임계 값을 찾으려면 어떻게해야합니까? 자유도가 큰 카이 제곱 검정을 수행하면 어떻게됩니까? [이와 같은 질문은 얼마 전에 게시되었지만 OP에서 오류가 발생하여 실제로 작은 df가있어 중복으로 줄었습니다. 그러나 …

1
베이지안 스파이크 및 슬래브 대 벌점 법
BSTS R 패키지에 대한 Steven Scott의 슬라이드를 읽고 있습니다 (여기에서 찾을 수 있습니다 : 슬라이드 ). 어떤 시점에서, 구조 시계열 모델에 많은 회귀자를 포함하는 것에 대해 이야기 할 때 회귀 계수의 스파이크 및 슬래브 사전을 소개하고 처벌 된 방법에 비해 더 우수하다고 말합니다. Scott은 100 개의 예측 변수가있는 데이터 세트의 …

1
랜덤 포레스트 및 클래스 가중치
한 문장으로 질문 : 누군가 임의의 숲에 대해 좋은 학급 가중치를 결정하는 방법을 알고 있습니까? 설명 : 불균형 데이터 세트로 놀고 있습니다. 긍정적 인 예와 많은 부정적인 예만으로 매우 치우친 데이터 세트에서 모델을 훈련시키기 위해 R패키지 를 사용하고 싶습니다 randomForest. 나는 다른 방법이 있다는 것을 알고 결국에는 그것들을 사용할 것이지만 …
11 r  random-forest 

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.