매개 변수 추정을위한 머신 러닝의 '기본'아이디어는 무엇입니까?

모수 추정에 대한 통계의 '기본'아이디어는 최대 가능성 입니다. 기계 학습에서 해당 아이디어가 무엇인지 궁금합니다.

Qn 1. 매개 변수 추정을위한 머신 러닝의 '기본'아이디어는 '손실 함수'라고 말할 수 있습니다.

[참고 : 머신 러닝 알고리즘은 종종 손실 함수를 최적화하여 위의 질문에 대한 것입니다.]

Qn 2 : 통계와 머신 러닝 사이의 격차를 해소하려는 문헌이 있습니까?

[참고 : 아마도 손실 함수를 최대 가능성과 관련시키는 방법 일 것입니다. (예를 들어, OLS는 정규 분포 오차 등의 최대 가능성과 같습니다)]

통계가 모두 가능성을 최대화하는 것이라면 머신 러닝은 손실을 최소화하는 것입니다. 향후 데이터에서 발생할 손실을 알지 못하므로 근사, 즉 경험적 손실을 최소화합니다.

예를 들어 예측 작업이 있고 오 분류 횟수로 평가되는 경우 결과 모델이 훈련 데이터에서 가장 적은 오 분류를 생성하도록 매개 변수를 학습 할 수 있습니다. "오 분류 수"(예 : 0-1 손실)는 미분 할 수 없기 때문에 사용할 수없는 하드 손실 함수이므로 부드러운 "대리"로 근사합니다. 예를 들어, 로그 손실은 0-1 손실의 상한이므로이를 최소화 할 수 있으며 이는 데이터의 조건부 우도를 최대화하는 것과 같습니다. 파라 메트릭 모델에서는이 접근 방식이 로지스틱 회귀와 같습니다.

구조화 된 모델링 작업 및 0-1 손실의 로그 손실 근사에서 최대 조건부 가능성과는 다른 것을 얻을 수 있으며 대신 (조건부) 한계 가능성의 곱을 최대화 합니다.

손실을 더 잘 근사하기 위해 사람들은 손실을 최소화하고 향후 손실을 추정하는 데이 손실을 사용하는 훈련 모델이 지나치게 낙관적이라는 것을 알았습니다. 따라서보다 정확한 (실제 미래 손실) 최소화를 위해 경험적 손실에 편향 보정 용어를 추가하고이를 최소화합니다.이를 구조적 위험 최소화라고합니다.

실제로 올바른 바이어스 보정 항을 알아내는 것이 너무 어려울 수 있으므로 바이어스 보정 항의 "정신"표현 (예 : 매개 변수의 제곱합)을 추가합니다. 결국, 거의 모든 파라 메트릭 머신 러닝 감독 분류 접근법은 모델을 훈련시켜 다음을 최소화합니다.

$\sum_{i} L(\textrm{m}(x_i,w),y_i) + P(w)$

여기서, 벡터에 의해 매개 변수화 모델 인 w는 , 난 모든 데이터 포인트를 통해 촬영 { X I , Y I } , L은 진정한 손실의 일부 계산 좋은 근사치 P ( w는 ) 일부 바이어스 정정 / 정규화 용어$\textrm{m}$$w$$i$$\{x_i,y_i\}$$L$$P(w)$

예를 들어 , y ∈ { − 1 , 1 } 인 경우 일반적인 접근 방식은 m ( x ) = sign ( w ⋅ x ) , L ( m ( x ) , y ) = − log ( y × ( x ⋅ w ) ) , P $x \in \{-1,1\}^d$$y \in \{-1,1\}$$\textrm{m}(x)=\textrm{sign}(w \cdot x)$$L(\textrm{m}(x),y)=-\log(y \times (x \cdot w))$ 이고교차 검증으로 q 를선택하십시오.$P(w)=q \times (w \cdot w)$$q$

항목 별 답변을 드리겠습니다. 실제로 논쟁의 여지가 없지만 더 많은 인용을 제공 할 수 있습니다.

• 통계는 (로그) 가능성을 최대화하는 것이 아닙니다 . 그것은 단지 그들의 후부를 업데이트하거나 적절한 모델을 통해 자신의 신념을 전파하는 원칙적인 베이지안 사람들에게는 혐오입니다.
• 많은 통계 는 손실 최소화에 관한 것입니다. 그리고 많은 머신 러닝도 마찬가지입니다. 경험적 손실 최소화는 ML에서 다른 의미를 갖습니다. 명확하고 서술적인 견해를 보려면 Vapnik의 "통계 학습의 본질"을 확인하십시오.
• 머신 러닝은 손실 최소화에 관한 것이 아닙니다 . 첫째, ML에는 많은 베이지안이 있기 때문입니다. 둘째, ML의 많은 응용 프로그램은 시간 학습 및 근사 DP와 관련이 있기 때문입니다. 물론 객관적인 기능이 있지만 "통계적"학습과는 매우 다른 의미를 갖습니다.

나는 필드들 사이에 차이가 있다고 생각하지 않으며, 단지 많은 다른 접근 방식이 모두 어느 정도 겹쳐져 있습니다. 나는 그것들을 명확하게 정의 된 차이점과 유사성을 가진 체계적인 학문으로 만들 필요가 없다고 생각하고, 그들이 발전하는 속도를 감안할 때, 어쨌든 그것이 운명의 기업이라고 생각합니다.

평판이 충분하지 않아서 의견 (이 의견에 적합한 장소)을 게시 할 수 없지만 질문 소유자가 최상의 답변으로 수락 한 답변이 요점을 놓칩니다.

"통계가 가능성을 극대화하는 것이라면 머신 러닝은 손실을 최소화하는 것입니다."

가능성은 손실 함수입니다. 우도를 최대화하는 것은 손실 함수를 최소화하는 것과 같습니다. 이탈은 로그 우도 함수의 -2 배에 불과합니다. 마찬가지로 최소 제곱 솔루션을 찾는 것은 잔차 제곱합을 설명하는 손실 함수를 최소화하는 것입니다.

ML과 통계는 알고리즘을 사용하여 일부 기능 (가장 넓은 용어로)을 데이터에 적합하게 최적화합니다. 최적화에는 필연적으로 일부 손실 기능을 최소화하는 것이 포함됩니다.

기계 학습에는 매개 변수 추정이 없습니다! 우리는 우리의 모델이 일부 숨겨진 배경 모델과 동일하다고 가정하지 않습니다. 우리는 현실과 모델을 블랙 박스로 취급하고 모델 박스 (공식 용어로 훈련)를 흔들어 그 출력이 현실 박스의 출력과 비슷해 지도록 노력합니다.

훈련 데이터에 기초한 가능성뿐만 아니라 전체 모델 선택의 개념은 보이지 않는 데이터에 대한 정확도 (정의 된 바에 따라 원칙적으로 원하는 사용의 장점)를 최적화하는 것으로 대체됩니다. 이를 통해 정밀도와 호출을 결합 된 방식으로 최적화 할 수 있습니다. 이는 학습자 유형에 따라 다른 방식으로 달성되는 일반화 능력의 개념으로 이어집니다.

두 가지 질문에 대한 답은 정의에 크게 의존합니다. 여전히 비모수 통계는이 둘을 연결하는 것이라고 생각합니다.

기계 학습의 매개 변수 추정에 대한 근본적인 아이디어는 없다고 생각합니다. ML 군중은 알고리즘이 효율적이고 "정확하게"예측되는 한, 가능성 또는 사후를 최대한 최대화 할 것입니다. 계산에 중점을두고 있으며 통계 결과가 널리 사용됩니다.

일반적으로 기본적인 아이디어를 찾고 있다면 컴퓨터 학습 이론에서 PAC 가 중심입니다. 통계 학습 이론, 구조적 위험 최소화 ; 다른 영역도 있습니다 (예 : John Langford 의 Prediction Science 게시물 참조 ).

브리징 통계 / ML에서이 격차는 심화 된 것으로 보입니다. 나는 "두 문화"질문에 대한 갭 피의 대답 을 좋아했습니다 .

손실을 음의 로그 우도로 정의하여 우도 최대화 문제를 손실 최소화 문제로 다시 작성할 수 있습니다. 우도가 독립 확률 또는 확률 밀도의 곱이면 손실은 독립 항의 합이되며,이를 효율적으로 계산할 수 있습니다. 또한 확률 변수가 정규 분포를 따르는 경우 해당 손실 최소화 문제는 최소 제곱 문제가됩니다.

우도 최대화를 다시 작성하여 손실 최소화 문제를 생성 할 수있는 경우, 처음부터 손실 최소화 문제를 생성하는 것을 선호해야합니다. 손실 최소화 문제가 발생할 수 있기 때문입니다. 이론적으로 설립되었으며 덜 임시적입니다. 예를 들어, 가중 최소 제곱과 같은 가중치는 일반적으로 값을 추측해야하는 원래 원래 가능성 최대화 문제를 다시 작성하는 과정에서 나타나고 이미 (최선 적으로) 최적의 값을 갖습니다.