매트릭스 분해에 관한 필수 논문

18

나는 최근 매트릭스 분해에 관한 Skillicorn의 책을 읽었으며 학부 청중을 대상으로하기 때문에 약간 실망했습니다. 나는 매트릭스 분해에 관한 필수 논문 (설문 조사뿐만 아니라 획기적인 논문)의 짧은 참고 문헌을 (나 자신과 다른 사람들을 위해) 편집하고 싶다. 내가 염두에두고 주로 SVD / PCA (및 견고 / 희소 변형) 및 NNMF에 관한 것이 가장 많이 사용되기 때문입니다. 모든 추천 / 제안이 있습니까? 나는 대답을 편견하지 않기 위해 내 것을 붙잡고있다 각 답변을 2-3 종이로 제한하도록 요청합니다.

추신 : 나는이 두 가지 분해를 데이터 분석에서 가장 많이 사용하는 것으로 언급합니다 . 물론 QR, Cholesky, LU 및 polar는 수치 분석에 매우 중요합니다. 그것은 내 질문의 초점이 아닙니다.

matrix-decomposition svd numerics

— 차이
소스

16

SVD와 NMF가 LU, Cholesky 및 QR이 아니라 가장 많이 사용되는 매트릭스 분해 임을 어떻게 알 수 있습니까? 내가 가장 좋아하는 '획기적인'은 보장 된 순위 공개 QR 알고리즘이어야합니다.

Chan, Tony F. "QR 인수 분해를 공개하는 순위". 1987 년 4 월, 선형 대수와 그 응용 분야 88-89, 67-82 페이지. DOI : 10.1016 / 0024-3795 (87) 90103-0

... 열 피벗을 사용한 QR의 초기 아이디어 개발 :

Businger, Peter; Golub, Gene H. (1965). 가계 변환에 의한 선형 최소 제곱 솔루션. Numerische Mathematik Volume 7, 3, 269-276, DOI : 10.1007 / BF01436084

A ( ?) 고전적인 교과서는 다음과 같습니다

Golub, Gene H .; Van Loan, Charles F. (1996). 매트릭스 계산 (3 판), Johns Hopkins, ISBN 978-0-8018-5414-9 .

(나는 당신이 교과서를 요구하지는 않았지만 저항 할 수는 없다는 것을 알고 있습니다)

편집 : 조금 더 인터넷 검색하면 초록이 우리가 약간의 십자가에 처할 수 있음을 암시하는 논문을 찾습니다. 위의 텍스트는 '숫자 선형 대수학'(NLA) 관점에서 나왔습니다. '응용 통계 / 심리 측정'(AS / P) 관점에 더 관심이 있습니까? 당신은 아마 명확히 할 수 있습니까?

로렌스 휴 버트, 재클린 멀먼, 빌렘 하이 저 행렬 분해의 두 가지 목적 : 역사적 평가. SIAM 검토 Vol. 42 권 1 호 (2000 년 3 월), 68-82 페이지

— 원 스톱
소스

2

Stewart의 Matrix Algorithms ( 두 부분 모두 ) 와 함께 "the"교과서라고 말하고 싶습니다 . 필자는 개척자 논문 목록을 직접 제공하지만 OP는 숫자 관점이나 통계 관점을 원한다면 설명해야합니다 (나는 전자를 도울 수는 있지만 후자를 많이 도울 수는 없습니다).

— JM은 통계학자가 아닙니다.

1

Golub과 Van Loan의 경우 +1 그렇습니다. 결정적인 기사가 적합합니다.

— shabbychef

2

통계 부분에 집중하고 있음을 분명히하기 위해 질문을 편집했습니다. Golub과 Van Loan이 매트릭스 분해에 대한 표준 참조라는 것에 모두 동의합니다. 그러나 랜덤 프로젝션을 통해 매우 큰 규모의 분해라는 주제를 생략하고 있습니다. 내가 목록에 넣을 설문지는 Halko et al.의 "임의의 구조 찾기 : 근사 행렬 분해 구성을위한 확률 적 알고리즘"이다.

— gappy

4

NNMF의 경우 Lee와 Seung은 구현이 매우 간단한 반복 알고리즘을 설명합니다. 실제로 이들은 두 개의 유사한 알고리즘을 제공합니다. 하나는 Frobenius 잔차를 최소화하기위한 것이고 다른 하나는 근사와 원래 행렬의 Kullback-Leibler Divergence를 최소화하기위한 것입니다.

Daniel Lee, H. Sebastian Seung, 음이 아닌 행렬 분해를위한 알고리즘, 신경 정보 처리 시스템의 발전 13 : 2000 회의의 진행. MIT Press. 556–562 쪽.

— 초라한 요리사
소스

3

아마도, 당신은 흥미로운 것을 찾을 수 있습니다

[매트릭스 인수 분해를 이용한 학습] Nathan Srebro의 박사 학위 논문,
[대규모 추천 시스템을위한 다양한 매트릭스 분해 방법의 조사] , Gábor Takács et.al. 여기에 설명 된 것과 거의 같은 기술

마지막 두 개의 링크는 협업 필터링에서 희소 행렬 인수 분해가 사용되는 방법을 보여줍니다 . 그러나 SGD와 같은 인수 분해 알고리즘은 다른 곳에서 유용 할 수 있다고 생각합니다 (적어도 코딩하기가 매우 쉽습니다)

— 회전식
소스

2

위튼, 티브시 라니-벌점 형 매트릭스 분해

http://www.biostat.washington.edu/~dwitten/Papers/pmd.pdf

http://cran.r-project.org/web/packages/PMA/index.html

Martinsson, Rokhlin, Szlam, Tygert-무작위 SVD

http://cims.nyu.edu/~tygert/software.html

http://cims.nyu.edu/~tygert/blanczos.pdf

— pslice
소스

5

감사. 나는 두 논문을 모두 알고있다. 나는 희소 분해에 대한 더 중요한 논문이 있다고 생각하기 때문에 Witten [Whitten] 외의 열성 팬이 아닙니다. 무작위 SVD에서는 특히 검토 논문 "무작위로 구조 찾기 : 근사 행렬 분해를 구성하기위한 확률 적 알고리즘"( arxiv.org/abs/0909.4061 )도 Martinsson이 공동 작성했습니다.

— gappy

나는 동의한다. 나는 아무도 언급하지 않은 2 개의 논문을 거기에 내놓았습니다.

— pslice

2

올해 NIPS 에는 스트리밍 입력 매트릭스를 통해 단일 패스로 작동 하는 분산 형 대규모 SVD 에 대한 짧은 논문이있었습니다 .

이 논문은 구현 지향적이지만 실제 벽시계 시간과 모든 것을 고려하여 상황을 파악합니다. 처음 근처의 테이블도 좋은 설문 조사입니다.

— pisk
소스

NIPS는 무엇을 의미합니까?

— onestop

@onestop 링크가 추가되었습니다. NIPS = 신경 정보 처리 시스템. 커뮤니티 (시스템이 아님)입니다. 그러나 회의에 대해 이야기 pisk는 2010 년 일본군의 숫자

— 로빈 지라에게