추론 대 추정?

기계 학습 의 맥락에서 "추론"과 "추정"의 차이점은 무엇입니까 ?

초보자로서 우리는 임의 변수를 추론 하고 모델 매개 변수를 추정 한다고 생각합니다 . 내 이해가 맞습니까?

그렇지 않다면 차이점은 무엇이며 언제 사용해야합니까?

또한 "학습"의 동의어는 무엇입니까?

통계적 추론은 주어진 데이터 세트와 해당 모델의 적합도를 포함한 관련 가설 모델에서 도출 할 수있는 전체 결론 모음으로 구성됩니다. Wikipedia 에서 인용하자면 ,

추론은 알려진 또는 사실이라고 가정 한 곳에서 논리적 결론을 도출하는 행위 또는 프로세스입니다.

과,

통계적 추론은 수학을 사용하여 불확실성이있을 때 결론을 도출합니다.

추정은 데이터를 기반으로 한 최적의 솔루션 (및 해당 매개 변수에 대한 사전 정보)으로 알 수없는 매개 변수 (데이터를 생성 한 가상 모델과 연관된)를 대체하는 추론의 한 측면 일뿐입니다. 보고 된 추정치의 불확실성 평가, 추론의 필수 부분 인 평가와 항상 관련되어야합니다.

최대 우도는 추정의 한 예이지만 전체 추론을 다루지는 않습니다. 반대로 베이지안 분석은 완벽한 추론 기계를 제공합니다.

추정 자체가 미지의 파라미터 (예를 들어, 로지스틱 회귀의 계수 또는지지 벡터 머신의 분리 초평면 계수)의 값을 도출 하는 것을 목표로 하지만 , 통계적 추론 은 불확실성 및 / 또는 확률 진술을 모수 값 (표준 오차 및 신뢰 구간). 통계학자가 추정 한 모형이 대략 정확하다고 가정하면, 새로운 수신 데이터가 해당 모형을 계속 준수한다면 불확실성 진술에 진실이있을 수 있으며 얼마나 자주 실수를하는지 측정 할 수 있습니다. 결정을 내릴 모델.

확률 진술의 출처는 두 가지입니다. 때때로, 당신은 당신이 측정하는 것의 기본 확률 분포를 가정 할 수 있으며, 수학적 요술 (가우시안 분포의 다변량 통합 등)으로 결과의 확률 분포를 얻습니다 (가우시안 데이터의 샘플 평균은 가우시안입니다) ). 베이지안 통계에서 활용 된 선행은 그 주술 범주에 속합니다. 다른 경우에는, 충분히 큰 표본에서, 어떤 방식으로 행동 할 수밖에없는 점근 적 결과 (대규모 표본) 결과에 의존해야합니다 (중앙 한계 정리 : 평균이 iid 인 데이터의 표본 평균 및 분산 는 평균 및 분산을 갖는 대략 가우스입니다.$\mu$$\sigma^2$$\mu$$\sigma^2/n$원본 데이터의 분포 형태에 관계없이 ).

머신 러닝에 가장 근접한 것은 샘플이 훈련과 검증 부분으로 나뉘어 질 때의 교차 검증이며, 후자는 효과적으로 "새 데이터가 기존 데이터처럼 보이지만 데이터와 완전히 관련이없는 경우 내 모델을 설정하는 데 사용 된 경우, 오류율의 현실적인 측정은 이와 같습니다. " 통계적 가정을하고 위의 CLT와 같은 수학적 결과를 포함하여 모델의 속성을 유추하지 않고 데이터에서 동일한 모델을 실행함으로써 완전히 경험적으로 도출됩니다. 아마도 이것은 더 정직하지만 정보를 덜 사용하기 때문에 더 큰 표본 크기가 필요합니다. 또한 프로세스가 변경되지 않는다고 암시 적으로 가정합니다.

"후부 추론"이라는 구절이 의미가있을 수 있지만 (베이지안은 아니며, 실제로 수용되는 용어가 무엇인지 알 수는 없습니다), 그 추론 적 단계에서 가정을하는 데는 많은 관련이 없다고 생각합니다. 모든 베이지안 가정은 (1) 이전 모델과 (2) 가정 된 모델이며, 일단 설정되면 후부는 자동으로 따릅니다 (적어도 베이 즈 정리를 통한 이론에서는 실제 단계는 helluvalot 복잡하고, 깁스 도박 ... 실례합니다. 깁스 샘플링은 그 후부에 도달하는 데 비교적 쉬운 요소 일 수 있습니다). "후부 추론"이 (1) + (2)를 언급한다면, 그것은 통계적 추론의 풍미입니다. (1)과 (2)가 별도로 언급 된 후 "후부 추론"이 다른 것이라면

모집단의 대표 표본이 있다고 가정하십시오.

이 표본을 사용하여 모형을 추정하고 결과를 특정 정확도로 전체 모집단으로 확장 할 수 있다고 진술합니다. 추론하는 것은 대표 표본 만 사용하여 모집단을 가정하는 것입니다.

추정은 데이터 샘플에 맞는 모델을 선택하고 해당 모델의 매개 변수에 대해 특정 정밀도로 계산하는 것입니다. 전체 모집단이 아닌 데이터 샘플 만 있기 때문에 모수의 실제 값을 계산할 수 없으므로 추정이라고합니다.

통계에 대한 배경 지식이없는 사람에게 답변을 제공하려는 시도입니다. 더 자세한 내용에 관심이있는 사람들에게는 주제에 대한 유용한 참고 자료가 많이 있습니다 ( 예 : 이와 같은 참조 ).

짧은 답변:

$->$

$->$

긴 대답 :

"추정"이라는 용어는 종종 알 수없는 값에 대한 추정치를 찾는 프로세스를 설명하는 데 사용되는 반면, "추론"은 통계적 추론, 랜덤 변수의 분포 (또는 특성)를 발견하고이를 사용하여 결론을 도출하는 프로세스를 의미합니다.

다음 질문에 대한 답을 생각해보십시오. 우리 나라의 평균적인 사람의 키는 얼마나됩니까?

견적을 찾으려면 며칠 동안 걸어 다니면서 거리에서 만나는 낯선 사람을 측정 한 다음 (샘플 만들기) 샘플의 평균과 같은 견적을 계산할 수 있습니다. 당신은 약간의 추정을했습니다!

다른 한편으로, 당신은 당신이 하나의 숫자이고 틀린 것으로 알고있는 일부 추정치보다 더 많은 것을 찾고 싶을 수 있습니다. 당신은 다음과 같은 확실한 확신을 가지고 질문에 대답하는 것을 목표로 할 수 있습니다.

그러한 주장을하기 위해서는 당신이 만나는 사람들의 신장 분포를 추정하고이 지식을 바탕으로 결론을 내려야합니다. 이는 통계적 추론의 기초입니다.

시안의 답변에서 지적한 바와 같이 명심해야 할 중요한 점은 추정자를 찾는 것이 통계적 추론의 일부라는 것입니다.

오늘날 다양한 분야의 사람들이 ML 분야에서 경력을 쌓고 있으며 약간 다른 방언을 말할 가능성이 있습니다.

그러나 어떤 용어를 사용하든 뒤에있는 개념은 서로 다릅니다. 따라서 이러한 개념을 명확하게 이해하고 원하는 방언을 번역하는 것이 중요합니다.

예 :

Bishop의 PRML에서

훈련 데이터를 사용하여 의 모형을 학습하는 추론 단계$p(C_k|x)$

그래서 여기 Inference= Learning=Estimation

그러나 다른 자료에서 추론은 추정과 다를 수 있으며, 여기서 inference수단 은 매개 변수의 학습 절차 prediction를 estimation의미합니다.

머신 러닝의 맥락에서 추론은 관측치에 따라 잠재 된 (숨겨진) 변수의 설정을 발견하는 행위를 말합니다. 여기에는 잠재 변수의 사후 분포 결정도 포함됩니다. 추정은 모델 파라미터를 결정하는 "점 추정"과 관련이있는 것 같습니다. 예에는 최대 가능성 추정이 포함됩니다. 기대 최대화 (EM)에서는 E 단계에서 추론을 수행합니다. M 단계에서는 모수 추정을 수행합니다.

사람들이 "후부 분포 추정"보다 "후부 분포 추정"이라고 말하는 것을 들었습니다. 후자는 일반적인 정확한 추론에 사용되지 않습니다. 예를 들어, 예측 전파 또는 변형 베이에서 사용되며, 정확한 후방을 추론하는 것이 어렵고 후방에 대한 추가 가정이 이루어져야합니다. 이 경우 유추 된 후부는 근사치입니다. 사람들은 "후부 근사치"또는 "후부 추정치"라고 말할 수 있습니다.

이 모든 것이 내 의견 일뿐입니다. 규칙이 아닙니다.

"추론"부분을 확장하여 다른 사람의 답변에 추가하고 싶습니다. 머신 러닝과 관련하여 흥미로운 추론 측면은 불확실성을 추정하는 것입니다. ML 알고리즘에서는 일반적으로 까다 롭습니다. 분류 레이블에 신경망 또는 의사 결정 트리가 튀어 나오는 표준 편차를 어떻게 설정합니까? 전통적인 통계에서는 분포 가정을 통해 수학을 수행하고 모수의 불확실성을 평가하는 방법을 알아낼 수 있습니다. ML에는 모수, 분포 가정이 없거나 둘 다 없을 수 있습니다.

이러한 측면에서 일부 진전이 있었으며 일부는 매우 최근 (현재 답변보다 최신)입니다. 한 가지 옵션은 다른 사람들이 언급했듯이 후부가 불확실성 추정치를 제공하는 베이지안 분석입니다. 부트 스트랩 유형 방법이 좋습니다. Stanford의 Stefan Wager와 Susan Athey는 지난 몇 년간 임의의 숲에 대한 추론을 받고있는 일부 작업을 수행했습니다 . 분석적으로 BART 는 베이지안 트리 앙상블 방법으로 추론을 도출 할 수있는 후부를 산출합니다.