거대한 희소 행렬의 SVD를 계산하는 방법은 무엇입니까?

데이터가 매우 희소 한 매우 큰 양의 행렬 (65M x 3.4M)의 단일 값 분해 (SVD)를 계산하는 가장 좋은 방법은 무엇입니까?

행렬의 0.1 % 미만이 0이 아닙니다. 나는 그 방법이 필요하다 :

• 메모리에 들어갈 것입니다 (온라인 방법이 있다는 것을 알고 있습니다)
• 적당한 시간에 계산됩니다 : 3,4 일
• 정확도는 충분하지만 정확성은 저의 주요 관심사가 아니므로 얼마나 많은 리소스를 넣었는지 제어하고 싶습니다.

그것을 구현하는 Haskell, Python, C # 등의 라이브러리가 있으면 좋을 것입니다. mathlab 또는 R을 사용하지 않지만 필요한 경우 R을 사용할 수 있습니다.

메모리에 적합하면 Matrix 패키지를 사용하여 R에 희소 행렬을 구성 하고 SVD에 대해 irlba 를 시도 하십시오. 결과에 원하는 특이 벡터 수를 지정할 수 있으며 이는 계산을 제한하는 또 다른 방법입니다.

그것은 꽤 큰 행렬이지만 과거에는이 방법으로 매우 좋은 결과를 얻었습니다. irlba꽤 최신 기술입니다. 그것은 사용 암시 적으로 다시 시작에는 Lanczos 양방향 대각 알고리즘을 .

넷플릭스 상금 데이터 세트 (480,189 행 x 17,770 열, 100,480,507, 0이 아닌 항목)를 밀리 초 단위로 씹을 수 있습니다. 데이터 세트가 Netflix 데이터 세트보다 ~ 200,000 배 더 크기 때문에 그보다 훨씬 오래 걸립니다. 며칠 안에 계산을 수행 할 수 있다고 예상하는 것이 합리적 일 수 있습니다.

1. 아파치 스파크 : https://spark.apache.org/docs/1.1.0/mllib-data-types.html
2. Mahout Samsara (Spark 및 그 밖의 다른 코어에서 실행) : https://mahout.apache.org/users/environment/out-of-core-reference.html
3. SciDB (실제로 큰 데이터의 경우) : http://www.paradigm4.com/scidb-how-linear-algebra-operations-scale/