통계학자를위한 수치 최적화에 대한 참조


9

통계학자를 대상으로 한 수치 최적화 기술에 대한 견고한 참조 (또는 참조)를 찾고 있습니다. 즉, 이러한 방법을 일부 표준 추론 문제 (예 : 공통 모델의 MAP / MLE)에 적용합니다. 경사 하강 (직선 및 확률 론적), EM 및 스핀 오프 / 일반화, 시뮬레이션 어닐링 등

구현에 대한 실용적인 메모가 있기를 바랍니다 (종종 논문이 부족함). 완전히 명시적일 필요는 없지만 최소한 확실한 참고 문헌을 제공해야합니다.

일부 커서 검색은 Ken Lange의 통계학자를위한 수치 해석과 John Monahan의 수치 해석법 등 몇 가지 텍스트를 만들어 냈습니다. 각각의 리뷰는 혼합되어 있고 드문 것 같습니다. 두 가지 중 목차에 대한 설명은 Lange의 책의 두 번째 판이 내가 뒤 따르는 것에 가장 가깝다는 것을 암시합니다.


답변:


5

제임스 젠틀의 ​​전산 통계 (2009).

James Gentle의 Matrix 대수학 : 이론, 계산 및 통계학 응용 분야 (2007 년)의 적용 ,이 책의 끝 부분을 향한 시작은 대단하지만 당신이 찾고있는 것은 아닙니다.

Christopher M. Bishop의 패턴 인식 (2006).

Hastie et al. 통계 학습의 요소 : 데이터 마이닝, 추론 및 예측 (2009).

"왜 행렬과 고차원 배열을 1 차원 배열로 저장하는 것이 더 효율적이며 일반적인 M에서 어떻게 색인을 생성 할 수 있습니까? (0, 1, 3, ...) 방법? " 또는 "그라데이션 디센트, EM 등과 같은 표준 알고리즘을 최적화하는 데 사용되는 일반적인 기술은 무엇입니까?"

기계 학습에 관한 대부분의 텍스트는 찾고자하는 주제에 대한 심도있는 토론을 제공합니다.


두 번째 (일반적인 기술은 무엇입니까 ...). 대부분의 텍스트는 모델을 제시하고 추론하는 방법을 설명합니다. 모델을 맞추고 응용 프로그램에서 모델을 비교하는 방법에 중점을 두는 역의 종류를 찾고 있습니다. MCMC를위한 몇 가지 책이 있는데, 여기에는 서로 다른 샘플러를 비교하고 유용한 곳과 함정 (예 : Gamerman & Lopes)을 설명합니다.
— JMS

또한 지금까지 참조 해 주셔서 감사합니다. Hastie 등의 책은 실제로 매우 가깝습니다. 선반에서 벗어난 지 오래되었습니다. 프롬프트 주셔서 감사합니다 :)
— JMS


3

Kenneth Lange (Springer, 2004)의 최적화 는 JASA에서 Russell Steele이 검토 했습니다. Jan de Leeuw (courses / 202B) 와 같은 Matrix Calculus and Optimization에 대한 입문 과정에 대한 Gentle 's Matrix algebra 를 사용한 훌륭한 교과서입니다 .


@chi 저 책은 환상적입니다! 나는 리뷰어에게 눈에 띄는 결석 (시뮬레이션 어닐링 및 다양한 확률 적 EM 풍미)이 있음에 동의하지만. 그들의 통계 시리즈에 있기 때문에 이상하다. 그러나 c'est la vie
— JMS

또한 Harville의 행렬 대수 책에 익숙하십니까? 그것이 젠틀과 어떻게 비교되는지 궁금합니다. Harville은 좋은 참고 자료이지만 매우 조밀합니다. Gentle 's TOC의 TOC에서 나는 2 부 전체가 "선택된 응용 프로그램"에 전념하는 것을 좋아합니다
— JMS

@JMS Nope. 젠틀의 교과서 만 있습니다. (나는 다변량 데이터 분석에 꽤 유용한 것을 제외하고는 일반적으로 수학 교과서를 적당히 사용하기 때문에) 2 부는 응용 프로그램 (9 절)과 3 부는 소프트웨어 문제에 관한 것입니다. 홈페이지는 mason.gmu.edu/~jgentle/books/matbk
— chl

예, 더 많이 보면 적용 측면에서 더 많은 것 같습니다. Harville의 책은 정리가 잘되어 있지만 통계에서 중요한 결과에 중점을두고 있습니다. 겹치는 재료에도 불구하고 서로를 잘 보완한다고 생각합니다.
— JMS

1

이것에 대한 보충으로 Magnus, JR 및 H. Neudecker (2007)를 찾을 수 있습니다. 통계 및 계량 경제학 응용 프로그램이 포함 된 행렬 미적분학 (Matrix Calculus) . 행렬을 사용하여 무한대 연산을 완벽하게 처리 한 다음 최적화, MLE 및 비선형 최소 제곱과 같은 여러 일반적인 통계 작업에 적용합니다. 하루가 지나면 행렬 알고리즘의 안정성을 파악하게되면 행렬 미적분을 잘 파악하는 것이 필수적입니다. 공간 통계와 다변량 파라 메트릭 모델에서 점근 적 결과를 도출하기 위해 행렬 미적분학 도구를 개인적으로 사용했습니다.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책과 개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.