손실 함수와 의사 결정 함수의 차이점은 무엇입니까?

두 함수 모두 Gradient Boosting Regressors 와 같은 데이터 마이닝 방법의 일부라는 것을 알았습니다. 나는 그것들도 별도의 객체라는 것을 알았습니다.

둘 사이의 일반적인 관계는 어떻습니까?

결정 함수가 입력으로서 데이터 집합을 취하여 출력으로서 결정을 제공하는 기능이다. 결정이 될 수있는 것은 당면한 문제에 달려 있습니다. 예를 들면 다음과 같습니다.

• 추정 문제 : "결정"은 추정치입니다.
• 가설 검정 문제 : 귀무 가설 을 기각하거나 기각하지 않기로 결정합니다.
• 분류 문제 : 결정은 새로운 관찰 (또는 관찰)을 범주로 분류하는 것입니다.
• 모델 선택 문제 : 결정은 후보 모델 중 하나를 선택하는 것입니다.

일반적으로, 문제점에 대해 사용 가능한 무한한 의사 결정 기능이 있습니다. 예를 들어 10 개의 관측 값 기반으로 스웨덴 남성의 신장을 추정하는 데 관심이 있다면 다음 의사 결정 함수 :d ( x$\mathbf{x}=(x_1,x_2,\ldots,x_{10})$$d(\mathbf{x})$

• 샘플 평균은 입니다.$d(\mathbf{x})=\frac{1}{10}\sum_{i=1}^{10}x_i$
• 샘플의 중앙값 :$d(\mathbf{x})=\mbox{median}(\mathbf{x})$
• 표본의 기하 평균 :$d(\mathbf{x})=\sqrt[10]{x_1\cdots x_{10}}$
• 함수는 항상 1 반환 : 상관없이 값의 . 어리석은 일이지만, 그럼에도 불구하고 유효한 의사 결정 기능입니다.$d(\mathbf{x})=1$$\mathbf{x}$

그러면 어떤 결정 기능을 사용할 것인지 어떻게 결정할 수 있습니까? 한 가지 방법은 가능한 모든 결정과 관련된 손실 (또는 비용)을 설명 하는 손실 기능 을 사용하는 것 입니다. 다른 의사 결정 기능은 다른 유형의 실수로 이어질 수 있습니다. 손실 기능은 우리가 더 염려해야 할 실수 유형을 알려줍니다. 최선의 결정 함수는 가장 낮은 예상 손실 을 산출하는 함수입니다 . 예상 손실이 의미하는 것은 설정에 따라 다릅니다 (특히, 빈번주의 또는 베이지안 통계 에 대해 이야기하고 있는지 여부 ).

요약해서 말하자면:

• 의사 결정 기능은 데이터를 기반으로 결정을 내리는 데 사용됩니다.
• 손실 기능은 사용할 의사 결정 기능을 결정하는 데 사용됩니다.

손실 함수는 어떤 의미에서 최적 인 모델을 얻기 위해 최소화되는 것입니다. 모델 자체에는 예측에 사용되는 결정 기능이 있습니다.

예를 들어 SVM 분류기에서 :

• 손실 함수 : 분리 초평면 오차와 제곱 규범을 최소화$\mathcal{L}(\mathbf{w}, \xi) =\frac{1}{2}\|\mathbf{w}\|^2 + C\sum_i \xi_i$
• 결정 함수 : 분리 초평면까지의 서명 된 거리 :$f(\mathbf{x}) = \mathbf{w}^T\mathbf{x} + b$