«svd» 태그된 질문

주성분 분석 (PCA)은 공분산 행렬의 고유 분해를 통해 설명됩니다. 그러나 데이터 행렬 의 단일 값 분해 (SVD)를 통해 수행 할 수도 있습니다 . 어떻게 작동합니까? 이 두 가지 방법의 관계는 무엇입니까? SVD와 PCA의 관계는 무엇입니까?엑스X\mathbf X 즉, 데이터 행렬의 SVD를 사용하여 차원 축소를 수행하는 방법은 무엇입니까?

351 pca  dimensionality-reduction  matrix  svd 

PCA (Principal Component Analysis)를 사용하여 치수를 줄일 수 있습니다. 이러한 차원 축소가 수행 된 후 소수의 주요 구성 요소에서 원래 변수 / 기능을 어떻게 대략 재구성 할 수 있습니까? 또는 데이터에서 여러 주요 구성 요소를 어떻게 제거하거나 버릴 수 있습니까? 다시 말해 PCA를 어떻게 바꾸는가? PCA가 SVD (Singular Value Decomposition)와 …

113 pca  dimensionality-reduction  svd 

관심있는 결과가 이분법 인 LASSO Regressionglmnet 과 함께 사용하기 시작했습니다 . 아래에 작은 모의 데이터 프레임을 만들었습니다. age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84, 0.85, 0.67, 0.91, 0.29, 0.88) …

77 r  self-study  lasso  regression  interpretation  anova  statistical-significance  survey  conditional-probability  independence  naive-bayes  graphical-model  r  time-series  forecasting  arima  r  forecasting  exponential-smoothing  bootstrap  outliers  r  regression  poisson-distribution  zero-inflation  genetic-algorithms  machine-learning  feature-selection  cart  categorical-data  interpretation  descriptive-statistics  variance  multivariate-analysis  covariance-matrix  r  data-visualization  generalized-linear-model  binomial  proportion  pca  matlab  svd  time-series  correlation  spss  arima  chi-squared  curve-fitting  text-mining  zipf  probability  categorical-data  distance  group-differences  bhattacharyya  regression  variance  mean  data-visualization  variance  clustering  r  standard-error  association-measure  somers-d  normal-distribution  integral  numerical-integration  bayesian  clustering  python  pymc  nonparametric-bayes  machine-learning  svm  kernel-trick  hyperparameter  poisson-distribution  mean  continuous-data  univariate  missing-data  dag  python  likelihood  dirichlet-distribution  r  anova  hypothesis-testing  statistical-significance  p-value  rating  data-imputation  censoring  threshold 

단일 값 분해 (SVD)에 대해 읽었습니다. 거의 모든 교과서에서 주어진 사양으로 행렬을 세 개의 행렬로 분해한다고 언급되어 있습니다. 그러나 행렬을 그러한 형태로 나누는 직관은 무엇입니까? 차원 축소를위한 PCA 및 기타 알고리즘은 알고리즘에 뛰어난 시각화 속성이 있지만 SVD에서는 그렇지 않다는 점에서 직관적입니다.

50 matrix  linear-algebra  svd  intuition 

Biplot은 주로 주성분 분석 (및 관련 기술)의 결과를 표시하는 데 사용됩니다 . 구성 요소 로딩 과 구성 요소 점수를 동시에 보여주는 이중 또는 오버레이 산점도 입니다. 나는 오늘 @amoeba에 의해 biplot 좌표가 어떻게 생성 / 확대되는지에 대한 질문에 대한 나의 의견에서 벗어나는 대답을 주었다고 알려졌다. 그의 대답 은 몇 가지 …

38 pca  multivariate-analysis  svd  correspondence-analysis  biplot 

SVD와 PCA를 이해하는 사람을 위해 부분 최소 제곱 회귀 (온라인에서 사용 가능) 뒤에 이론을 잘 설명 할 수 있습니까? 온라인에서 여러 출처를 살펴본 결과 엄격하고 접근성이 올바른 조합을 찾지 못했습니다. zi=Xφizi=Xφiz_i=X \varphi_iyTziyTzi y^Tz_i ∥φi∥=1‖φi‖=1\|\varphi_i\|=1zTizj=0ziTzj=0z_i^Tz_j=0i≠ji≠ji \neq j여기서 는 공분산을 최대화하는 순서대로 반복적으로 선택됩니다. 그러나 내가 읽은 후에도 나는 그것이 사실인지 여부와 …

33 regression  references  regularization  svd  partial-least-squares 

/ 편집 : 추가 후속 조치 irlba :: prcomp_irlba를 사용할 수 있습니다 / 편집 : 내 자신의 게시물에 후속. irlba이제 "center"및 "scale"인수를 사용하여이를 사용하여 기본 구성 요소를 계산할 수 있습니다. 예 : pc <- M %*% irlba(M, nv=5, nu=0, center=colMeans(M), right_only=TRUE)$v Matrix기계 학습 알고리즘에 사용하려는 크고 작은 기능이 있습니다. library(Matrix) …

31 r  pca  dimensionality-reduction  svd  matrix-decomposition 

PCA의 데이터 중심화 (또는 의미가없는)는 어떤 차이가 있습니까? 수학이 더 쉬워 지거나 첫 번째 PC가 변수의 수단에 의해 지배되는 것을 막는다 고 들었지만 아직 개념을 제대로 파악할 수 없었습니다. 예를 들어, 여기서 가장 좋은 대답 은 회귀 및 PCA에서 데이터를 중심에 어떻게 차단을 제거합니까? 중심이 포인트 클라우드의 주축이 아니라 원점을 …

30 r  pca  svd  eigenvalues  centering 

SVD가 공동 필터링에 사용되는 방식과 약간 혼동됩니다. 소셜 그래프가 있고 가장자리에서 인접 행렬을 만든 다음 SVD (정규화, 학습 속도, 희소성 최적화 등을 잊어 버리십시오)를 사용한다고 가정하면이 SVD를 사용하여 권장 사항을 개선하는 방법은 무엇입니까? 소셜 그래프가 인스 타 그램에 해당하고 소셜 그래프만을 기반으로 서비스에서 사용자를 추천해야 할 책임이 있다고 가정 해 …

30 svd  recommender-system 

방금 다음 논문 인 Gene Expression Data에서 상관 관계있는 Biclusters 찾기 에 대한 주장을 복제하려고합니다 . 법안 4. . 우리는 :XIJ=RICTJXIJ=RICJTX_{IJ}=R_{I}C^{T}_{J} 나는. 경우 첨가제 모델과 완벽한 bicluster는 다음 열에 대한 상관 관계와 완벽한 bicluster이다; ii. 경우 첨가제 모델과 완벽한 bicluster는 다음 X_ {IJ는} 행에 대한 상관 관계와 완벽한 bicluster이다; iii. …

29 correlation  multivariate-analysis  svd 

Andrew Ng의 Coursera 코스 및 기타 자료에서 PCA를 공부하고 있습니다. 스탠포드 NLP 과정에서 cs224n의 첫 번째 과제 와 Andrew Ng 의 강의 비디오에서 공분산 행렬의 고유 벡터 분해 대신 특이 값 분해를 수행하며 Ng는 SVD가 고유 분해보다 수치 적으로 더 안정적이라고 말합니다. PCA의 경우 (m,n)크기의 공분산 행렬이 아닌 크기 의 …

29 pca  linear-algebra  svd  eigenvalues  numerics 

행렬의 PCA (또는 SVD) 근사 감안할 때 와 매트릭스 , 우리는 알고 의 가장 낮은 순위 근사 .XXXX^X^\hat XX^X^\hat XXXX 이것은 유도 된 규범∥⋅∥2∥⋅∥2\parallel \cdot \parallel_2 (즉, 가장 큰 고유 값 규범) 또는 Frobenius 규범에 따른 것입니까?∥⋅∥F∥⋅∥F\parallel \cdot \parallel_F

26 pca  svd  matrix-decomposition 

scikit-learn차원 축소를 위해 기계 학습 라이브러리 (Python) 의 선형 판별 분석 (LDA)을 사용 하고 있었으며 결과에 대해 약간 궁금했습니다. LDA가 무엇을하고 있는지 궁금해서 scikit-learn결과가 예를 들어 수동 접근이나 R에서 수행 된 LDA와 다르게 보일 수 있습니다. 기본적으로 가장 중요한 scikit-plot것은 상관 관계가 있어야하는 두 변수 간의 상관 관계를 보여줍니다. 테스트를 …

26 python  scikit-learn  dimensionality-reduction  discriminant-analysis  svd 

데이터가 매우 희소 한 매우 큰 양의 행렬 (65M x 3.4M)의 단일 값 분해 (SVD)를 계산하는 가장 좋은 방법은 무엇입니까? 행렬의 0.1 % 미만이 0이 아닙니다. 나는 그 방법이 필요하다 : 메모리에 들어갈 것입니다 (온라인 방법이 있다는 것을 알고 있습니다) 적당한 시간에 계산됩니다 : 3,4 일 정확도는 충분하지만 정확성은 저의 …

26 svd  numerics 

결정 요인이 0 인 보안 수익의 상관 관계 행렬이 있습니다. (이는 샘플 상관 행렬과 해당 공분산 행렬이 이론적으로 양의 명확한 값이어야하기 때문에 약간 놀라운 일입니다.) 내 가설은 적어도 하나의 보안이 다른 유가 증권에 선형 적으로 의존한다는 것입니다. R에 선형 의존성을 위해 각 열의 행렬을 순차적으로 테스트하는 함수가 있습니까? 예를 들어, …

26 r  correlation  pca  linear-model  svd