분류에서 다른 손실 함수를 선택하면 약 0-1 손실에 미치는 영향은 무엇입니까?

우리는 일부 객관적인 기능이 최적화하기 쉽고 일부는 어렵다는 것을 알고 있습니다. 그리고 우리가 사용하고자하지만 사용하기 어려운 많은 손실 함수가 있습니다 (예 : 0-1 손실). 그래서 우리 는 작업을 수행하기 위해 프록시 손실 기능을 찾습니다 . 예를 들어 힌지 손실 또는 로지스틱 손실을 사용하여 0-1 손실을 "대략적인"수준으로 만듭니다.

다음은 Chris Bishop의 PRML 서적에서 나온 것 입니다. 힌지 손실은 파란색으로, 로그 손실은 빨간색으로, 광장 손실은 녹색으로, 0/1 오류는 검은 색으로 표시됩니다.

힌지 및 로지스틱 손실에 대한 설계가 필요한 이유는 목적 함수가 볼록하게 표시되기를 원한다는 것을 이해합니다.

힌지 손실과 로지스틱 손실을 살펴보면 잘못 분류 된 인스턴스에 대해 더 많은 벌점을 부과 하고 흥미롭게도 잘못 분류 된 경우 올바르게 분류 된 인스턴스에 벌점을 부과합니다 . 정말 이상한 디자인입니다.

내 질문은 경첩 손실 및 물류 손실과 같은 다른 "프록시 손실 기능"을 사용하여 지불해야하는 가격은 얼마입니까?

내 생각 중 일부는 정확하지 않을 수 있습니다.

힌지 및 로지스틱 손실에 대한 설계가 필요한 이유는 목적 함수가 볼록하게 표시되기를 원한다는 것을 이해합니다.

볼록 함은 확실히 좋은 속성이지만, 가장 중요한 이유는 목적 함수가 0 이 아닌 파생물 을 갖기를 원하기 때문에 파생물을 사용하여 파생물을 해결할 수 있기 때문입니다. 목적 함수는 볼록하지 않을 수 있습니다.이 경우 종종 일부 로컬 옵티마 나 안 장점에서 멈 춥니 다.

흥미롭게도, 정확하게 분류 된 인스턴스가 약하게 분류되면 불이익을받습니다. 정말 이상한 디자인입니다.

이러한 디자인은 모델이 올바른 예측을 할뿐만 아니라 예측에 대해 확신 할 수 있도록 조언한다고 생각합니다. 올바르게 분류 된 인스턴스를 처벌하지 않으려면 예를 들어 힌지 손실 (파란색)을 왼쪽으로 1만큼 이동하여 더 이상 손실을 입지 않도록 할 수 있습니다. 그러나 이것이 종종 실제 결과를 악화시키는 것으로 생각합니다.

경첩 손실 및 물류 손실과 같은 다른 "프록시 손실 기능"을 사용하여 지불해야하는 가격은 얼마입니까?

다른 손실 함수를 선택함으로써 IMO는 모델에 다른 가정을 가져옵니다. 예를 들어 로지스틱 회귀 손실 (빨간색)은 Bernoulli 분포를 가정하고 MSE 손실 (녹색)은 가우스 잡음을 가정합니다.

PRML의 최소 제곱 대 로지스틱 회귀 분석 예제에 따라 비교를 위해 힌지 손실을 추가했습니다.

그림에서 볼 수 있듯이 힌지 손실과 로지스틱 회귀 / 교차 엔트로피 / 로그 우도 / 소프트 플러스는 목적 함수가 가깝기 때문에 (아래 그림 참조) MSE는 일반적으로 특이 치에 더 민감하기 때문에 매우 가까운 결과를 나타냅니다. 힌지 손실은 볼록하지 않기 때문에 항상 고유 한 솔루션이 아닙니다.

그러나 힌지 손실의 중요한 속성 중 하나는 의사 결정 경계에서 멀리 떨어진 데이터 포인트가 손실에 아무런 영향을 미치지 않는다는 것입니다. 솔루션은 제거 된 포인트와 동일합니다.

나머지 점을 SVM의 맥락에서 지원 벡터라고합니다. SVM은 정규화 용어를 사용하여 최대 마진 속성과 고유 한 솔루션을 보장합니다.

아직 언급되지 않은 매우 간단한 답변이 있기 때문에 늦은 답변 게시.

경첩 손실 및 물류 손실과 같은 다른 "프록시 손실 기능"을 사용하여 지불해야하는 가격은 얼마입니까?

사용자가 교체 할 때 볼록하지 않은 부산물 0-1 손실 함수 볼록 대리 (예 힌지 손실) 실제로 지금 (분류 실수 횟수를 최소화하는 것)을 해결하기위한 하나 이상의 다른 문제점들을 해결한다. 당신은 그래서 이득 계산의 취급 용이성을 (문제는 볼록 최적화 도구를 사용하여 효율적으로 해결할 수있는 의미 볼록하게)하지만, 일반적인 경우에 실제로 분류의 오류를 연관 할 수있는 방법이 없다는 것을 최소화하는 "프록시"손실과 0-1 손실을 최소화하는 분류기의 오류 . 당신이 진정으로 관심을 가진 것이 오 분류의 수를 최소화하는 것이라면 , 나는 이것이 정말로 지불해야 할 큰 가격이라고 주장합니다.

나는이 진술이 모든 배포에 적용된다는 점에서 최악의 경우 라고 언급해야 한다.$\mathcal D$

이상적으로는 손실 기능이 비즈니스에서 발생한 실제 손실을 반영해야합니다. 예를 들어 손상된 상품을 분류하는 경우 오 분류 손실은 다음과 같습니다.

• 손상되지 않은 상품 표시 : 잠재적 판매로 인한 이익 손실
• 손상된 손상된 제품을 표시하지 않음 : 반품 처리 비용