«linear-algebra» 태그된 질문

최근에 많은 사람들이 많은 방법 (텐서 분해, 텐서 커널, 주제 모델링을위한 텐서 등)과 같은 텐서를 개발하고 있음을 알았습니다. 왜 세상이 갑자기 텐서에 매료됩니까? 특히 놀라운 최신 논문 / 표준 결과가 있습니까? 이전에 예상했던 것보다 계산 비용이 훨씬 저렴합니까? 나는 냉담하지 않고, 진심으로 관심이 있으며, 이것에 관한 논문에 대한 조언이 있다면, …

171 machine-learning  references  matrix  linear-algebra  tensor 

나는 R에서 약간 일하고 있었고 PCA, SVD, QR 분해 및 많은 선형 대수 결과 (가중 회귀 추정 등을 조사 할 때)와 같은 것들에 직면 했으므로 누군가가 좋은 것에 대한 권장 사항이 있는지 알고 싶었습니다. 너무 이론적이지는 않지만 수학적으로 엄격하며 이러한 모든 주제를 다루는 포괄적 인 선형 대수 책.

54 references  matrix  linear-algebra  weighted-regression 

나는 다양한 튜토리얼과 (같은 질문을 포함 PCA에 대해 많이 읽은 이 하나 , 이 하나 , 이 하나 , 그리고 이 일을 ). PCA가 최적화하려는 기하학적 문제는 나에게 분명합니다. PCA는 재구성 (투영) 오류를 최소화하여 첫 번째 주요 구성 요소를 찾으려고합니다. 내가 처음 읽을 때, 나는 선형 회귀와 같은 것을 즉시 …

53 pca  optimization  linear-algebra  intuition 

단일 값 분해 (SVD)에 대해 읽었습니다. 거의 모든 교과서에서 주어진 사양으로 행렬을 세 개의 행렬로 분해한다고 언급되어 있습니다. 그러나 행렬을 그러한 형태로 나누는 직관은 무엇입니까? 차원 축소를위한 PCA 및 기타 알고리즘은 알고리즘에 뛰어난 시각화 속성이 있지만 SVD에서는 그렇지 않다는 점에서 직관적입니다.

50 matrix  linear-algebra  svd  intuition 

나는 대답이 '그렇다'고 생각하지만 여전히 무언가가 옳지 않다고 느낀다. 문헌에 일반적인 결과가 있어야합니까, 누군가 나를 도울 수 있습니까?

48 covariance  matrix  covariance-matrix  linear-algebra 

공분산 행렬을 반전시키고 결과 정밀도 행렬에서 적절한 셀을 가져 와서 무작위 변수 간의 부분 상관 관계를 찾을 수 있다고 들었습니다 (이 사실은 http://en.wikipedia.org/wiki/Partial_correlation 에 있지만 증거는 없습니다) . 왜 그런가요?

32 covariance  covariance-matrix  linear-algebra  partial-correlation  matrix-inverse 

차원 다변량 가우스 분포 가 있다고 가정 해 봅시다 . 그리고이 분포에서 관측치 (각각 벡터)를 취하고 표본 공분산 행렬 계산합니다 . 이 논문 에서 저자는 계산 된 표본 공분산 행렬 이 단수 라고 말합니다 .pppnnnpppSSSp>np>np > n 그것이 사실이거나 파생 된 방법은 무엇입니까? 어떤 설명이 있습니까?

30 covariance-matrix  linear-algebra 

Andrew Ng의 Coursera 코스 및 기타 자료에서 PCA를 공부하고 있습니다. 스탠포드 NLP 과정에서 cs224n의 첫 번째 과제 와 Andrew Ng 의 강의 비디오에서 공분산 행렬의 고유 벡터 분해 대신 특이 값 분해를 수행하며 Ng는 SVD가 고유 분해보다 수치 적으로 더 안정적이라고 말합니다. PCA의 경우 (m,n)크기의 공분산 행렬이 아닌 크기 의 …

29 pca  linear-algebra  svd  eigenvalues  numerics 

경우 xx\mathbf{x} 및 yy\mathbf{y} 두 개의 독립적 인 임의의 단위 벡터이다 RDRD\mathbb{R}^D (균일 단위 구에 분포)는, 그 내적의 분포 (내적) 무엇 x⋅yx⋅y\mathbf x \cdot \mathbf y ? 나는 DDD 빠르게 분포를 증가함에 따라 (?) 평균이 0이되고 되고 더 큰 차원에서 분산이 감소 limD→∞σ2(D)→0,limD→∞σ2(D)→0,\lim_{D\to\infty}\sigma^2(D) \to 0,하지만 \ sigma ^ 2 (D)에 …

27 mathematical-statistics  linear-algebra  beta-distribution 

임의 데이터의 SVD 결과에서 매우 이상한 동작을 관찰했습니다. Matlab과 R 모두에서 재현 할 수 있습니다. LAPACK 라이브러리의 수치 문제처럼 보입니다. 그렇습니까? 제로 평균과 항등 공분산을 갖는 차원 가우스 에서 샘플을 그 립니다 : . 데이터 매트릭스 조립합니다 . (선택적으로 중심 에 둘 수 있으며, 다음에 영향을 미치지 않습니다.) 그런 다음 …

21 pca  svd  linear-algebra  numerics 

SPD (symmetric positive definite) 행렬의 정의를 알고 있지만 더 이해하고 싶습니다. 왜 그렇게 직관적으로 중요합니까? 여기 내가 아는 것입니다. 또 뭐요? 주어진 데이터에 대해 공분산 행렬은 SPD입니다. 공분산 행렬은 중요한 측정 항목 입니다. 직관적 인 설명 은이 게시물 을 참조하십시오 . 이차 형태 A가 SPD12엑스⊤A x - b⊤x + c12x⊤Ax−b⊤x+c\frac …

20 mathematical-statistics  optimization  covariance-matrix  intuition  linear-algebra 

주요 구성 요소 분석 (PCA) 이 주제 (이중) 공간에서 작동하는 방식을 직관적으로 이해하려고 합니다. . 두 개의 변수 x1x1x_1 과 x2x2x_2 와 nnn 데이터 포인트를 갖는 2D 데이터 세트를 고려하십시오 (데이터 매트릭스 XX\mathbf X 는 n×2n×2n\times 2 이며 중앙에 있다고 가정). PCA의 일반적인 표현은 우리 가 R 2 에서 nnn …

19 pca  linear-algebra  intuition  geometry 

내 데이터를 변환 할 등의 차이가 하나가 될 것이며, 공분산가 0 (즉, 내가 희게 데이터에 원하는)이 될 것입니다. 또한 평균은 0이어야합니다.XX\mathbf X Z 표준화 및 PCA 변환을 수행하면 어떻게됩니까? 그러나 어떤 순서로 수행해야합니까? 작성된 미백 변환은 형식이어야합니다 .x↦Wx+bx↦Wx+b\mathbf{x} \mapsto W\mathbf{x} + \mathbf{b} PCA와 비슷한 방법으로 이러한 변환을 정확하게 수행하고 위의 …

18 pca  linear-algebra 

보자 . Fisher 정보 매트릭스는 다음과 같이 정의됩니다.θ ∈ R엔θ∈Rn\theta \in R^{n} 나는( θ )I , J= − E[ ∂2로그( f( X| θ))∂θ나는∂θ제이∣∣∣θ ]I(θ)i,j=−E[∂2log⁡(f(X|θ))∂θi∂θj|θ]I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right] Fisher Information Matrix가 양의 반올림임을 어떻게 증명할 수 있습니까?

18 inference  linear-algebra  fisher-information 

이것은 매우 간단한 질문이지만 인터넷이나 책 어디에서나 파생물을 찾을 수 없습니다. 한 베이지 안에서 다변량 정규 분포를 업데이트하는 방법을 도출하고 싶습니다. 예를 들어 : P(x|μ,Σ)P(μ)==N(μ,Σ)N(μ0,Σ0).P(x|μ,Σ)=N(μ,Σ)P(μ)=N(μ0,Σ0). \begin{array}{rcl} \mathbb{P}({\bf x}|{\bf μ},{\bf Σ}) & = & N({\bf \mu}, {\bf \Sigma}) \\ \mathbb{P}({\bf \mu}) &= & N({\bf \mu_0}, {\bf \Sigma_0})\,. \end{array} 집합을 관찰 한 …

18 bayesian  normal-distribution  matrix  posterior  linear-algebra