AI 연구에서“고급 수학”은 어느 정도까지 필요 / 유용합니까?

저는 현재 수학을 공부하고 있습니다. 그러나 나는 미래에 전문 수학자가되고 싶지 않다고 생각합니다. 인공 지능 연구를 위해 수학 지식을 적용하려고합니다. 그러나, 얼마나 많은 수학 과정을 따라야하는지 잘 모르겠습니다. (그리고 어떤 CS 이론 과정을 따라야합니까.)

Quora에서 저는 Linear Algebra, Statistics and Convex Optimization 과목 이 기계 학습과 가장 관련이 있다는 것을 배웠습니다 ( 이 질문 참조 ). 다른 사람은 인공 지능을 연구하려면 선형 대수, 확률 / 통계, 미적분학, 기본 알고리즘 및 논리를 배우는 것이 필요하다고 언급했습니다 ( 이 질문 참조 ).

대학에서 수학 학사 학위를받은 첫 1.5 년 동안이 모든 주제에 대해 배울 수 있습니다.

그래도 인공 지능을 연구하는 데 유용하거나 필요한 대학원 수준의 수학 과목에 대한 상위 학부 과정이 있는지 궁금합니다. 매니 폴드의 ODE, PDE, 토폴로지, 측정 이론, 선형 분석, 푸리에 분석 및 분석은 어떻습니까?

인공 지능 연구에 매우 진보 된 수학이 유용하다고 제안하는 한 권의 책은 David Mumford와 Agnes Desolneux 의 실제 신호의 확률 론적 분석 (패턴 이론 )입니다 ( 이 페이지 참조). 여기에는 Markov Chains, Piecewise Gaussian Models, Gibbs Fields, Manifolds, Lie Groups 및 Lie Algebras 및 패턴 이론 적용을위한 장이 포함되어 있습니다. 이 책은 AI 연구에 어느 정도 유용합니까?

나는 울퉁불퉁하게 들리고 싶지 않지만, 당신이 학부 및 대학원 수준의 과정에서 공부하는 수학은 고급이 아닙니다. 그것은이다 기본 . 질문 제목은 AI 연구에서 "기본"수학이 필요 / 유용해야합니까? 그래서, 당신이 할 수있는 한 많은 노력을 기울이면, 나는 너무 많은 수학 지식에 대해 불평하는 컴퓨터 과학자를 결코 만나지 못했습니다. AI의 동료 대학원생이 페이지 랭크 스타일 알고리즘을 이해하도록 돕는 것을 기억합니다. 그것은 나에게 꽤 쉬운 선형 대수학이지만, 그는 고유 값과 고유 벡터에 대한 느낌이 없었기 때문에 고통을 겪었습니다. AI가 실제로 많은 수학을 알고 있다면 할 수있는 일을 상상해보십시오!

나는 수학 부서에서 가르치고 있으며 CS 학생들에게 수학 전공을 선호하는 학생들을 위해 CS PhD의 수학 전공을 추천 해 달라는 CS 동료의 요청을 정기적으로받습니다. 알다시피, 수학은 스스로 배우는 것이 정말 어렵지만 컴퓨터 과학의 대부분은 그렇지 않습니다. 저는 CS 대학원에 입학 한 수학 전공이었습니다. 물론, 나는 운영 체제 지식 (유닉스와 VMS에 대한 적절한 지식을 가지고 있음)에 대해서는 "뒤에"있었지만 "이론"에 대해서는 앞선 방법이었다. 대칭 상황이 아닙니다.

Max, 여기에 (필수적으로) 부분적인 목록이 있습니다.

모든 곳에서 기본적인 선형 대수와 확률이 필요합니다. 나는 당신이 그것에 대한 참조가 필요하지 않다고 가정합니다.

내가 아는 한 푸리에 분석은 일부 학습 이론 관련 조사에 사용되었습니다. 예를 들어이 백서를 확인하십시오 .

매니 폴드 학습의 개념이 대중화되고 있으며 Mikhail belkin과 Partha Niyogi의 작품을 살펴볼 수 있습니다. 이 작업 라인에는 매니 폴드 및 리안 만 형상과 관련된 다양한 개념을 이해해야합니다.

기계 학습에는 통계, 즉 정보 기하학에 대한 뿌리가 더 있습니다 . 이 영역은 리만 기하학, 정보 이론, 피셔 정보 등의 다양한 개념과 관련이 있습니다. 이러한 종류의 연구의 사촌은 대수학 통계에서 찾을 수 있습니다. 이것은 많은 잠재력을 가진 초기 필드입니다.

Sumio Watanabe는 다른 프론티어, 즉 학습 모델에서 특이점의 존재와 대수 기하학에서 해상도의 깊은 결과를 적용 하여 많은 질문을 해결하는 방법을 조사했습니다. Watanabe의 결과는 Heisuke Hironaka의 유명한 작품에서 그에게 Fields 메달을 줬습니다.

상대적으로 무거운 수학이 필요한 다른 많은 영역을 생략한다고 가정합니다. 그러나 Andrej가 지적했듯이, 대부분은 아마도 수학의 경계에 있지는 않지만 비교적 오래되고 확립 된 영역입니다.

그러나 어쨌든 아마존의 추천 시스템이나 Apache Mahout에있는 기계 학습 라이브러리와 같이 주류 컴퓨팅에 들어간 AI의 현재 상태에는 고급 수학이 필요하지 않다고 생각합니다. 내가 틀렸을 수도 있습니다.

고급의 정의와 연구하려는 AI의 종류에 따라 다릅니다.

AI의 많은 문제는 아마도 다루기 힘들다. POMDP에 대한 최적의 솔루션은 NP-Complete 일 가능성이 있고 DEC-POMDP에 대한 최적의 솔루션은 NEXP-Complete 일 가능성이 높다. 따라서 복잡한 이론에서 예상치 못한 돌파구가 없다면 근사 알고리즘에 대해 더 많이 알고있다. 그들의 이론적 토대가 좋을수록 좋습니다. (측정 이론 등 외에도 POMDP 모델의 기반이되는 베이지안 확률을 진정으로 이해해야했습니다.)

특히 다중 에이전트 인공 지능은 게임 이론과 교차합니다. 게임 이론을 아는 것은 토폴로지, 측정 이론 등에 의존하는 데 도움이됩니다. 마찬가지로 게임 이론의 많은 문제는 다루기 어렵습니다. 일부는 근사치에 따라 다루기가 어려우며, 계산하기 위해 상당한 양의 수학을 유용하게 근사화 하는 것이 가능한지 이해하기까지합니다 .

(게임 이론가들은 지난 몇 년 동안 노벨 경제학 분야에서 꽤 잘 운영되어 왔으며, 이는 수학적으로 매우 수학적인 것입니다. 저는 20 년 만에 오늘날의 알고리즘 게임 이론가들은 거의 똑같을 것입니다 위치.)

AI와 관련된 수학은 고급이 아니며 저학년 수준에서 진행됩니다. AI 교육 및 추론 알고리즘은 고급 컴퓨터 과학의 영역에 있습니다.

그것은 약간의 단어 게임입니다. AI를 연구 할 때 일부 역사도 포함되어야합니다.

예를 들어, 현재의 명명법에서 딥 러닝은 AI에서 인기 키워드로 보입니다.

딥 러닝은 Hinton의 백프로 파싱 퍼셉트론 네트워크 모델 (BACKPROP) 등과 같은 인공 신경 네트워크 (ANN)라고 불렀습니다.

BACKPROP ANN (예 : BACKPROP ANN)과 관련된 수학은 기본적으로 학습을위한 미적분학, 추론을위한 행렬 대수입니다.

딥 러닝의 새로운 측면은 훈련 및 추론 알고리즘의 물리적 분리입니다. CPU는 여전히 교육에 사용되지만 이제는 GPU가 추론에 사용됩니다.

예를 들어, ANN 행렬은 수정 미분 미적분법을 사용하여 역 전파 오류에 의해 학습 (가중치)됩니다. 이는 CPU에 가장 적합하며 ANN 배포 당 한 번만 수행하면됩니다.

그런 다음 ANN은 고도로 병렬화 된 GPU 아키텍처에 배포됩니다. 순방향 추론 수학은 GPU를 위해 설계된 집중 행렬 대수를 포함합니다.

따라서 이전 CPU 기반 배포에 비해 배포 된 ANN의 성능이 몇 배나 향상되며, 여러 전용 GPU에서보다 효율적으로 확장 될 수 있습니다.

Nvidia 및 AMD와 같은 회사는 현재 딥 러닝 머신 (Deep Learning Machines)으로 매우 고급 GPU 칩셋을 마케팅하고 있습니다. GPU라는 용어는 실제로 범용 병렬 프로세서이기 때문에 항상 약간 잘못되었습니다. 예를 들어, GPU는 때때로 블록 체인 응용 프로그램에서 비트 마이너라고도합니다.

그래서 오래된 것은 이제 새로운 것입니다. 관련된 수학은 컴퓨터 과학의 용어 (주로 마케팅 압력으로 인해)가 바뀌지 않았습니다.

AI라는 용어는 항상 약간 어두운 말로 여겨져왔다. 딥 러닝은 이제 정치적으로 정확하고 시장 친화적 인 용어입니다.

AI는 광범위한 경로가있는 놀랍도록 넓은 분야입니다. 일부는 매우 수학적이며, 일부는 거의 닿지 않은 수학입니다. 다른 사람들은 이미 더 수학적인 접근 방식에 대한 좋은 대답을했습니다. 당신이 지적한 주제 중

"선형 대수, 확률 / 통계, 미적분, 기본 알고리즘 및 논리"

-당신은 기본적으로 그들 모두를 필요로하거나 혜택을 볼 것입니다. 많은 접근법은 확률론과 통계학-휴리스틱, 신경망, 유전자 알고리즘, 퍼지 로직을 기반으로합니다. 미적분학은 AI 또는 일반 컴퓨팅 과학에서 거의 모든 곳에서 찾을 수 있습니다. 선형 대수는 확실히 필요한 것입니다.

CS / AI 관점에서 가장 중요한 두 가지 주제는 알고리즘과 논리, 알고리즘은 컴퓨팅 과학의 핵심이며, 논리는 알고리즘의 기본 '언어'입니다. 알고리즘 학습의 핵심은 프로그래밍 방법, 숙련도를 배우는 것입니다. 기본 프로그래밍 연습은 거의 모든 컴퓨터 과학 또는 AI 과목의 가장 중요한 기초 중 하나입니다. 프로그래밍은 또한 대학이 항상 가르치는 데 특히 좋은 것은 아닙니다. 논리는 또한 AI의 대부분의 분기에 실제로 필수적입니다. 부울 논리, 술어 미적분, 기호 논리, 순열의 기본 이론, 설계 계층 구조, 재귀, 유한 상태 기계, 튜링 기계, CPU 설계 등. 여기서 우리는 수학에서 컴퓨팅 과학에 이르기까지 실제로 단계적으로 나아가고 있습니다.

'강력한 AI'수학 분야로 확장하는 것은 근본적이지만 절대적으로 필수적인 역할을합니다. 기본 수학을 잘 이해하는 것이 고등 수학보다 중요 할 수도 있지만 실제로는 무엇이든 선택할 수 있습니다. Strong AI와 같은 초기 필드의 실제 문제는 모든 것이 공중에 올라 서서 필드가 완전히 유동적이라는 것입니다.
잠재적으로 유용한 과목으로는 신경망, 유전자 알고리즘, 신경학, 유전학, 심리학, 사이버네틱스 및 로봇 공학, 3D 그래픽 이론, 이미지 처리 이론, 컴퓨터 게임 디자인, 철학, 예술 이론, 디지털 전자 공학, 언어 이론 등이 있습니다. 이 독서는 배우는 가장 중요한 방법 중 하나입니다. 저를위한 출발점이었던 두 권의 책은-Roger Penrose의 황제 New Mind, RL Gregory의 Eye and Brain입니다.