목적 함수, 비용 함수, 손실 함수 : 같은 것입니까?

기계 학습에서 사람들은 객관적인 기능, 비용 함수, 손실 기능에 대해 이야기합니다. 그들은 같은 것의 다른 이름입니까? 언제 사용합니까? 그들이 항상 같은 것을 언급하지 않는다면, 차이점은 무엇입니까?

이들은 매우 엄격한 용어가 아니며 관련성이 높습니다. 하나:

• 손실 함수 는 일반적으로 데이터 포인트, 예측 및 레이블에 정의 된 함수 이며 페널티를 측정합니다. 예를 들면 다음과 같습니다.
  • 제곱 손실 , 선형 회귀 분석에 사용$l(f(x_i|\theta),y_i) = \left (f(x_i|\theta)-y_i \right )^2$
  • 힌지 손실 , SVM에 사용$l(f(x_i|\theta), y_i) = \max(0, 1-f(x_i|\theta)y_i)$
  • 0/1 손실 , 이론적 분석 및 정확도 정의에 사용$l(f(x_i|\theta), y_i) = 1 \iff f(x_i|\theta) \neq y_i$
• 비용 함수 는 일반적으로 더 일반적입니다. 훈련 세트에 대한 손실 함수 합계와 일부 모델 복잡성 페널티 (정규화) 일 수 있습니다. 예를 들면 다음과 같습니다.
  • 평균 제곱 오차$MSE(\theta) = \frac{1}{N} \sum_{i=1}^N \left (f(x_i|\theta)-y_i \right )^2$
  • SVM 비용 함수 ( 를 및 훈련 세트 와 연결하는 추가 제한 조건이 있음 )$SVM(\theta) = \|\theta\|^2 + C \sum_{i=1}^N \xi_i$$\xi_i$$C$
• 목표 기능 은 훈련 중에 최적화하는 기능 에 대한 가장 일반적인 용어입니다. 예를 들어, 최대 우도 접근법에서 훈련 세트를 생성 할 확률은 잘 정의 된 목적 함수이지만 손실 함수 나 비용 함수는 아닙니다 (그러나 동등한 비용 함수를 정의 할 수는 있음). 예를 들면 다음과 같습니다.
  • MLE는 목적 함수 유형입니다 (최대화)
  • 클래스 간의 차이는 객관적인 함수일 수 있지만 1-Divergence와 같은 인공적인 것을 정의하고 비용을 지정하지 않는 한 비용 함수는 아닙니다.

간단히 말해서, 나는 말할 것입니다 :

손실 함수 는 목적 함수 의 한 유형 인 비용 함수 의 일부입니다 .

Andrew Ng 교수 에 따르면 (11 페이지의 슬라이드 참조)

함수 h (X)는 가설을 나타냅니다. 고정 피팅 매개 변수 theta의 경우 기능 X의 기능입니다.이 기능을 Objective Function이라고도합니다.

비용 함수 J는 피팅 매개 변수 theta의 함수입니다. J = J (θ).

Hastie et al.의 교과서 "통계학의 요소"에 따르면 , p.37 :

"입력 X의 Y 주어진 값을 예측하기위한 함수 f (X)를 찾고 있습니다." [...] 손실 함수 L (Y, f (X))는 "예측에서 오류를 처벌하는 함수"입니다.

따라서 "손실 함수"는 "비용 함수"보다 약간 더 일반적인 용어 인 것 같습니다. 해당 PDF에서 "손실"을 찾으려면 "비용 함수"와 "손실 기능"을 다소 동의어로 사용한다고 생각합니다.

실제로, p. 502

"클러스터링의 상황은 예측 문제 (감독 학습)에서 손실 또는 비용 함수의 사양과 다소 유사합니다."

이러한 용어는 다른 학계에서 독립적으로 진화했기 때문에 존재할 수 있습니다. "목적 기능"은 운영 연구 및 공학 수학에서 사용되는 오래된 용어입니다. 통계 학자들 사이에서 "손실 기능"이 더 많이 사용될 수 있습니다. 그러나 나는 여기서 추측하고 있습니다.

앤드류 NG의 말에서

"마지막으로 손실 함수는 단일 교육 예제와 관련하여 정의되었습니다. 단일 교육 예제에서 수행중인 작업의 정도를 측정합니다. 이제 비용 함수라는 것을 정의하여 비용 수준을 측정합니다. 따라서 매개 변수 W와 B에 적용되는 비용 함수 J는 각 트레이닝 예제에 적용되는 손실 함수의 합계 m 중 하나와 평균이됩니다. "

"심층 학습"섹션 4.3-Ian Goodfellow, Yoshua Bengio, Aaron Courville http://www.deeplearningbook.org/

"최소화 또는 최대화하려는 기능을 목적 함수 또는 기준이라고합니다. 최소화 할 때 비용 함수, 손실 함수 또는 오류 함수라고도합니다.이 책에서는 이러한 용어를 서로 바꿔서 사용합니다. "일부 기계 학습 출판물은 이러한 용어 중 일부에 특별한 의미를 부여합니다."

이 책에서 최소한 손실과 비용은 같습니다.

나에 따르면 짧은 대답을 해주기 위해 동의어입니다. 그러나 비용 함수는 최적화 문제에서 더 많이 사용되고 손실 함수는 모수 추정에서 사용됩니다.

비용 및 손실 기능이라는 용어는 동의어이며 일부 사람들은이를 오류 기능이라고도합니다. 보다 일반적인 시나리오는 최적화하려는 목적 함수를 먼저 정의하는 것입니다. 이 목적 함수는

1. 사후 확률을 최대화합니다 (예 : 순진한 베이 즈)
2. 피트니스 기능 극대화 (유전 적 프로그래밍)
3. 총 보상 / 가치 기능 극대화 (강화 학습)
4. 정보 획득 극대화 / 자식 노드 불순물 최소화 (CART 의사 결정 트리 분류) 5. 평균 제곱 오류 비용 (또는 손실) 기능 (CART, 의사 결정 트리 회귀, 선형 회귀, 적응 선형 뉴런 등) 최소화 ...
5. 로그 우도 최대화 또는 엔트로피 손실 최소화 (또는 비용) 기능 힌지 손실 최소화 (벡터 시스템 지원)

실제로 간단합니다. (x (1), y (1)), (x (2), y (2))와 같은 m 개의 훈련 데이터가있는 경우. . . (x (m), y (m)) 손실 함수 L (ycap, y)를 사용하여 단일 트레이닝 세트의 ycap과 y 사이의 손실을 찾습니다. 전체 트레이닝 세트의 ycap과 y 사이의 손실을 찾으려면 비용 함수.

참고 :-ycap은 모델의 출력을 의미하고 y는 예상 출력을 의미합니다.

참고 :-학점은 Andrew ng Resource : 코스 신경 네트워크 및 딥 러닝

손실 함수는 단일 트레이닝 예제의 오류를 계산하는 반면 비용 함수는 전체 트레이닝 세트의 손실 함수의 평균입니다.