학습과 추론의 차이점은 무엇입니까?

기계 학습 연구 논문은 종종 학습과 추론을 두 가지 별도의 작업으로 취급하지만 그 차이점이 무엇인지는 분명하지 않습니다. 에서 이 책의 예를 들어 그들은 작업의 두 종류의 베이지안 통계를 사용하지만, 그 구분에 대한 동기 부여를 제공하지 않습니다. 몇 가지 모호한 아이디어가 있을지 모르지만 탄탄한 정의와 내 아이디어의 반박 또는 확장을보고 싶습니다.

• 특정 데이터 포인트에 대한 잠재 변수의 값을 유추하는 것과 데이터에 적합한 모델을 학습하는 것의 차이점.
• (추출 공간 / 프로세스 / 세계의 역학을 학습함으로써) 분산을 추출 할 수 있도록 분산 추출 (추론)과 분산 학습 간의 차이.
• 신경 과학 유사성은 단기 강화 / 우울증 (메모리 트레이스) 대 장기 강화 / 우울증 일 수있다.

나는 Neil G의 대답에 동의하지만 아마도이 대안 문구가 도움이 될 것입니다.

간단한 가우스 혼합 모델의 설정을 고려하십시오. 여기서 모델 매개 변수를 혼합물 모델의 가우스 성분 세트 (각각의 평균 및 분산, 혼합물의 각 중량)로 생각할 수 있습니다.

모델 매개 변수의 집합을 감안할 때, 추론은 구성 요소가 가능성이 일반적으로 각 구성 요소에 대한 "책임"의 형태로, 하나의 주어진 예제를 생성 한 것으로 된 식별의 문제이다. 여기서 잠복 변수는 성분이 주어진 벡터를 생성하는 단일 식별자 일 뿐이며 어떤 성분이 있었을 가능성이 있는가를 추론하고 있습니다. (이 경우 추론은 간단하지만 더 복잡한 모델에서는 상당히 복잡해집니다.)

학습 은 모델의 샘플 세트가 주어지면 주어진 데이터에 가장 적합한 모델 파라미터 (또는 모델 파라미터에 대한 분포)를 식별하는 프로세스입니다. 가우스 평균, 분산 및 가중치 선택.

Expectation-Maximization 학습 알고리즘은 학습 세트에 대한 추론을 수행 한 다음 해당 추론에 대해 가장 적합한 매개 변수를 학습 한 다음 반복하는 것으로 생각할 수 있습니다. 추론은 종종 이런 식으로 학습 과정에 사용되지만 가우시안 혼합 모델에서 주어진 데이터 포인트를 생성 한 구성 요소를 선택하여 숨겨진 Markov 모델에서 가장 숨겨진 숨겨진 상태를 결정하는 것도 독립적 인 관심사입니다. 보다 일반적인 그래픽 모델에서 결 측값을 대치하기 위해 ....

추론은 단일 입력을 기반으로 구성을 선택하는 것입니다. 학습은 일부 교육 예제를 기반으로 매개 변수를 선택합니다.

에너지 기반 모델 프레임 워크 (거의 모든 기계 학습 아키텍처를 보는 방법)에서 추론 은 매개 변수를 고정한 상태 에서 에너지 기능 을 최소화하는 구성 을 선택합니다 . 학습 은 손실 함수 를 최소화하기 위해 매개 변수 를 선택합니다 .

켤레 이전에 지적했듯이 다른 사람들은 동일한 용어에 대해 다른 용어를 사용합니다. 예를 들어 Bishop은 "추론"과 "결정"을 사용하여 각각 학습과 추론을 의미합니다. 인과 추론 은 학습을 의미합니다. 그러나 어떤 용어를 결정하든이 두 개념은 서로 다릅니다.

신경 학적 유추는 발사의 패턴이며 뉴런은 구성입니다. 링크 강도 세트는 매개 변수입니다.

이것은 고전적인 학문 용어 혼란으로 보입니다. OP는 문제의 두 용어가 다른 의미를 가질 수있는 신경 과학과 유사한 용어를 사용하는 것 같습니다. 그러나 Cross Validated는 일반적으로 통계 및 Maching 학습을 다루므로 해당 분야에서 이러한 용어의 일반적인 사용법을 기반으로 질문에 대답하려고합니다.

고전 통계에서 추론은 단순히 샘플에 대해 알고있는 것을 취하고 (희망적으로) 대표하는 모집단에 대해 수학적 진술을하는 행위입니다. Casella & Berger (2002)의 표준 교과서에서 : "확률 이론의 주제는 모든 통계가 구축되는 기초입니다 ...이 모델을 통해 통계학자는 인구에 대한 추론을 도출 할 수 있습니다. 전체의 일부 ". 따라서 통계에서 추론은 특히 p- 값, 테스트 통계 및 샘플링 분포 등과 관련이 있습니다.

학습에 관해서는 Wasserman의 All of Statistics (2003) 의이 표가 도움이 될 것이라고 생각합니다.

아무도 이것을 언급 한 것은 이상하지 않지만 확률 분포가있는 경우에만 추론 할 수 있습니다. 옥스포드 사전을 인용 한 위키를 인용 해 보자 :

통계적 추론은 데이터 분석을 사용하여 기본 확률 분포 (Oxford Dictionary of Statistics)의 속성을 추론하는 프로세스입니다.

https://ko.wikipedia.org/wiki/Statistical_inference

전통적인 신경망, k-NN 또는 바닐라 SVM의 경우 추정 할 확률 밀도 나 밀도에 대한 가정이 없으므로 통계적 추론이 없습니다. 훈련 / 학습 만. 그러나 대부분의 (전체?) 통계 절차의 경우 추론과 학습을 모두 사용할 수 있습니다. 이러한 절차에는 해당 인구 분포에 대한 몇 가지 가정이 있기 때문입니다.