통계학자를위한 수치 최적화에 대한 참조

통계학자를 대상으로 한 수치 최적화 기술에 대한 견고한 참조 (또는 참조)를 찾고 있습니다. 즉, 이러한 방법을 일부 표준 추론 문제 (예 : 공통 모델의 MAP / MLE)에 적용합니다. 경사 하강 (직선 및 확률 론적), EM 및 스핀 오프 / 일반화, 시뮬레이션 어닐링 등

구현에 대한 실용적인 메모가 있기를 바랍니다 (종종 논문이 부족함). 완전히 명시적일 필요는 없지만 최소한 확실한 참고 문헌을 제공해야합니다.

일부 커서 검색은 Ken Lange의 통계학자를위한 수치 해석과 John Monahan의 수치 해석법 등 몇 가지 텍스트를 만들어 냈습니다. 각각의 리뷰는 혼합되어 있고 드문 것 같습니다. 두 가지 중 목차에 대한 설명은 Lange의 책의 두 번째 판이 내가 뒤 따르는 것에 가장 가깝다는 것을 암시합니다.

제임스 젠틀의 ​​전산 통계 (2009).

James Gentle의 Matrix 대수학 : 이론, 계산 및 통계학 응용 분야 (2007 년)의 적용 ,이 책의 끝 부분을 향한 시작은 대단하지만 당신이 찾고있는 것은 아닙니다.

Christopher M. Bishop의 패턴 인식 (2006).

Hastie et al. 통계 학습의 요소 : 데이터 마이닝, 추론 및 예측 (2009).

"왜 행렬과 고차원 배열을 1 차원 배열로 저장하는 것이 더 효율적이며 일반적인 M에서 어떻게 색인을 생성 할 수 있습니까? (0, 1, 3, ...) 방법? " 또는 "그라데이션 디센트, EM 등과 같은 표준 알고리즘을 최적화하는 데 사용되는 일반적인 기술은 무엇입니까?"

기계 학습에 관한 대부분의 텍스트는 찾고자하는 주제에 대한 심도있는 토론을 제공합니다.

Nocedal and Wrights 도서

http://users.eecs.northwestern.edu/~nocedal/book/

는 일반적으로 최적화에 대한 좋은 참고 자료이며, 책의 많은 부분이 통계 학자에게 관심이 있습니다. 비선형 최소 제곱에 대한 전체 장도 있습니다.

Kenneth Lange (Springer, 2004)의 최적화 는 JASA에서 Russell Steele이 검토 했습니다. Jan de Leeuw (courses / 202B) 와 같은 Matrix Calculus and Optimization에 대한 입문 과정에 대한 Gentle 's Matrix algebra 를 사용한 훌륭한 교과서입니다 .

이것에 대한 보충으로 Magnus, JR 및 H. Neudecker (2007)를 찾을 수 있습니다. 통계 및 계량 경제학 응용 프로그램이 포함 된 행렬 미적분학 (Matrix Calculus) . 행렬을 사용하여 무한대 연산을 완벽하게 처리 한 다음 최적화, MLE 및 비선형 최소 제곱과 같은 여러 일반적인 통계 작업에 적용합니다. 하루가 지나면 행렬 알고리즘의 안정성을 파악하게되면 행렬 미적분을 잘 파악하는 것이 필수적입니다. 공간 통계와 다변량 파라 메트릭 모델에서 점근 적 결과를 도출하기 위해 행렬 미적분학 도구를 개인적으로 사용했습니다.