통계 및 빅 데이터

저는 ICA (Independent Component Analysis)를 처음 사용했으며이 방법에 대한 기본적인 이해를했습니다. ICA는 한 가지 예외를 제외하고는 요인 분석 (FA)과 유사합니다. ICA는 관측 된 랜덤 변수가 비가 우스 독립 성분 / 인자의 선형 조합 인 것으로 가정하지만 고전적인 FA 모델은 관측 된 랜덤 변수를 가정합니다. 상관 된 가우스 성분 / 인자의 …

67 multivariate-analysis  factor-analysis  ica 

Wikipedia 에서 다음과 같이 말합니다 . 확률의 수학은 확률에 대한 해석과는 크게 무관하다. 질문 : 수학적으로 정확하려면 확률에 대한 해석을 허용 해서는 안 됩니까? 즉, 베이지안과 잦은 수학적 모두 수학적으로 부정확합니까? 나는 철학을 좋아하지 않지만 수학을 좋아하며 Kolmogorov의 공리 체계 안에서 독점적으로 일하고 싶습니다. 이것이 나의 목표라면, 위키 백과에 나와있는 …

67 probability  bayesian  frequentist  philosophical  kolmogorov-axioms 

재발 신경망은 "메모리"계층을 가지고 있다는 점에서 "정규"네트워크와 다릅니다. 이 계층으로 인해 반복 NN은 시계열 모델링에 유용합니다. 그러나 사용법을 올바르게 이해하고 있는지 잘 모르겠습니다. :의은 (왼쪽에서 오른쪽으로) 나는 다음과 같은 시계열 있다고 가정 해 봅시다 [0, 1, 2, 3, 4, 5, 6, 7], 내 목표는 예측하는 것입니다 i포인트를 사용하여 번째 지점을 …

67 time-series  machine-learning  neural-networks 

이 두 가지 수렴 측정 값의 차이를 실제로 파악한 적이 없습니다. (실제로, 여러 유형의 수렴이 있지만, 특히 많은 수의 약하고 강한 법칙 때문에이 두 가지를 언급합니다.) 물론, 나는 각각의 정의를 인용하고 그들이 다른 곳의 예를 제시 할 수 있지만 여전히 그것을 얻지는 못합니다. 차이점을 이해하는 좋은 방법은 무엇입니까? 차이점이 왜 …

67 probability  random-variable 

좀이 서수 데이터 설문 조사 질문에서 얻은합니다. 제 경우에는 리 커트 스타일 응답입니다 (강하게 동의하지 않음-반대-중립-동의 함-매우 동의 함). 내 데이터에서 그들은 1-5로 코딩됩니다. 나는 의미가 여기에 많은 의미가 있다고 생각하지 않으므로 유용한 기본 요약 통계는 무엇입니까?

67 descriptive-statistics  likert  ordinal-data 

푸 아송 회귀 분석에서 왜 오프셋이 사용되는지 아는 사람이 있습니까? 이것으로 무엇을 달성합니까?

67 poisson-regression  offset 

분산을 계산하는 공식 은 분모에 이 있습니다.( n - 1 )(n−1)(n-1) 에스2= ∑엔나는 = 1( x나는− x¯)2n - 1s2=∑i=1N(xi−x¯)2n−1s^2 = \frac{\sum_{i=1}^N (x_i - \bar{x})^2}{n-1} 나는 항상 이유를 궁금해했다. 그러나 "왜"에 대한 몇 가지 좋은 비디오를 읽고 보는 것은 이 인구 분산의 좋은 편견이 아닌 것 같습니다 . 반면 N 과소 …

67 variance  unbiased-estimator  proof  history 

주성분 분석 (PCA)에서 고유 벡터 (단위 벡터)와 고유 값을 얻습니다. 이제 로딩을 로 정의하겠습니다Loadings=Eigenvectors⋅Eigenvalues−−−−−−−−−−√.Loadings=Eigenvectors⋅Eigenvalues.\text{Loadings} = \text{Eigenvectors} \cdot \sqrt{\text{Eigenvalues}}. 고유 벡터는 단지 방향이며 하중 (위에 정의 된대로)에도 이러한 방향을 따라 분산이 포함됩니다. 그러나 더 나은 이해를 위해 고유 벡터 대신로드를 사용해야하는 위치를 알고 싶습니다. 예가 완벽 할 것입니다! 나는 일반적으로 고유 …

67 pca 

가우시안 및 다항식 커널로 커널 PCA ( 1 , 2 , 3 ) 에 대해 읽었습니다 . 가우시안 커널은 겉보기에 비선형 데이터를 어떻게 잘 분리합니까? 가능한 경우 수학적으로 관련된 분석뿐만 아니라 직관적 인 분석을 제공하십시오. 다른 커널에는없는 가우스 커널 (이상적인 σσ\sigma ) 의 속성은 무엇입니까 ? 신경망, SVM 및 RBF …

67 machine-learning  pca  svm  kernel-trick 

다른 행렬 (주로 로지스틱 회귀 분석)에서 일부 계산을 수행하고 있으며 일반적으로 "매트릭스가 단수입니다"라는 오류가 발생합니다. 여기서 돌아가서 상관 변수를 제거해야합니다. 내 질문은 "높은"상관 매트릭스를 무엇이라고 생각합니까? 이 단어를 나타내는 상관의 임계 값이 있습니까? 변수가 다른 변수와 상관 관계가 0.97 인 것처럼, 이것은 행렬을 특이하게 만들기에 충분한 "높음"입니까? 질문이 매우 기본적이라면 …

66 regression  correlation  matrix  multicollinearity  singular 

이 이미지가 많이 지나가는 것을보고 있습니다. 이 방법으로 제공된 정보가 어떻게 든 불완전하거나 잘못되었다는 느낌이 들지만, 통계에 능숙하지 않아 응답 할 수 없습니다. 나는이 xkcd comic을 생각하게하는데 , 확실한 과거 데이터가 있더라도 특정 상황은 상황을 예측하는 방법을 바꿀 수 있습니다. 이 차트는 난민의 위협 수준을 정확하게 보여주는 데 유용합니까? 이 …

66 probability  interpretation  prediction 

수백 개의 측정 값이 있습니다. 이제 모든 측정 값을 모든 측정 값과 연관시키기 위해 일종의 소프트웨어를 사용하는 것을 고려하고 있습니다. 이는 수천 개의 상관 관계가 있음을 의미합니다. 이 중 데이터가 완전히 임의적 임에도 불구하고 (통계적으로) 높은 상관 관계가 있어야합니다 (각 측정 값에는 약 100 개의 데이터 포인트 만 있음). 상관 …

66 correlation  multiple-comparisons  permutation-test 

이것은 가정 문제가 아니라 회사가 직면 한 실제 문제입니다. 매우 최근 (2 일 전) 우리는 딜러에게 10000 개의 제품 라벨 제조를 주문했습니다. 딜러는 독립적 인 사람입니다. 그는 외부에서 제조 된 라벨을 받고 회사는 딜러에게 지불합니다. 각 라벨의 가격은 회사에 정확히 1 달러입니다. 어제 딜러에게는 라벨이 붙어 있지만 라벨은 각각 100 …

66 probability  bayesian  model  decision-theory 

당신은 어떤 확률 공식화 수있는 대부분의 기계 학습 작업에서 극대화해야한다, 우리는 실제로 로그 확률 최적화 것 대신 일부 매개 변수에 대한 확률의 . 예를 들어 최대 우도 훈련에서는 일반적으로 로그 우도입니다. 일부 그라디언트 방법 으로이 작업을 수행 할 때 요인이 있습니다.ppplogplog⁡p\log pθθ\theta ∂logp∂θ=1p⋅∂p∂θ∂log⁡p∂θ=1p⋅∂p∂θ \frac{\partial \log p}{\partial \theta} = \frac{1}{p} \cdot …

66 probability  optimization  log-likelihood 

다시 말해, 2 클래스 문제가있는 대신 4 클래스를 처리하고 있으며 AUC를 사용하여 성능을 평가하려고합니다.

66 classification  roc