전 세계적으로 최적화 가능한 비용 함수를 공식화하여 문제에 접근 할 때의 이점

이것은 다소 일반적인 질문이지만 통계와 관련이있는 것은 아니지만 저자가 다음과 같은 접근 방식을 선호하는 기계 학습 및 통계 문헌의 추세를 발견했습니다.

접근법 1 : 전 세계적으로 최적의 솔루션을 찾는 것이 가능한 (예를 들어, 계산적 관점에서) 비용 함수를 공식화함으로써 (예를 들어 볼록한 비용 함수를 공식화함으로써) 실제 문제에 대한 솔루션을 얻는다.

오히려

접근법 2 : 전 세계적으로 최적의 솔루션을 얻지 못할 수도있는 비용 함수를 공식화하여 동일한 문제에 대한 솔루션을 얻습니다 (예 : 로컬에서 최적의 솔루션 만 얻을 수 있음).

엄격하게 말하면 두 가지 문제는 다르다. 가정은 첫 번째 솔루션에 대해서는 전 세계적으로 최적의 솔루션을 찾을 수 있지만 두 번째 솔루션에는 적합하지 않다는 것입니다.

다른 고려 사항 (예 : 속도, 구현 용이성 등)을 제외하고는 찾고 있습니다.

1. 이 추세에 대한 설명 (예 : 수학 또는 역사적 주장)
2. 실제 문제를 해결할 때 접근법 2 대신 접근법 1을 따르는 이점 (실용적 및 / 또는 이론적).

내 목표는 관심있는 기능을 최적화하는 것이 목표라고 생각합니다. 그것이 이항 가능성이 아닌 오 분류 횟수 인 경우에는 오 분류 횟수를 최소화해야합니다. 그러나 언급 된 많은 실제 이유 (속도, 구현, 불안정성 등)로 인해 이는 쉽지 않고 불가능할 수도 있습니다. 이 경우 솔루션을 근사값으로 선택합니다.

기본적으로 두 가지 근사 전략을 알고 있습니다. 우리는 원래 문제의 해결책을 직접 근사하기 위해 시도하는 알고리즘을 제안하거나, 또는 원래 문제를보다 직접적으로 해결 가능한 문제 (예 : 볼록한 이완)로 재구성합니다.

수학적 다른 통해 하나의 접근 방식을 선호에 대한 인수는 우리가 솔루션의 특성은 실제로 계산)을 이해 할 수 있는지 여부와 b) 솔루션은 우리가 실제로 관심있는 문제의 해결책을 근사 얼마나 잘입니다.

통계의 많은 결과가 최적화 문제에 대한 솔루션의 속성을 입증 할 수있는 것으로 알고 있습니다. 나에게 알고리즘의 솔루션을 분석하는 것이 더 어려워 보입니다. 여기서 알고리즘은 계산하는 것에 대한 수학적 공식이 없습니다 (예 : 주어진 최적화 문제를 해결하는 것). 나는 당신이 할 수 없다고 주장하지는 않지만 계산하는 것에 대한 명확한 수학적 공식을 줄 수 있다면 이론상의 이점 인 것처럼 보입니다 .

그러한 수학적 주장 이 접근법 2보다 접근법 1에 실질적인 이익 을 준다면 분명 하지 않습니다 . 볼록하지 않은 손실 함수를 두려워하지 않는 누군가가 있습니다 .

@NRH는이 질문에 대한 답변을 제공 했으므로 (5 년 전), 접근법 1과 2를 결합한 접근법 3 만 제공하겠습니다.

접근법 3 :

1. 볼록, 또는 전체적으로 볼 수있는 (볼록하지는 않지만) 전역 적으로 최적화 할 수있는 문제를 공식화하고 해결하십시오.
2. 1 단계의 글로벌 최적 솔루션을 시작 (초기) 솔루션으로 사용하여 실제로 해결하려는 볼록하지 않은 최적화 문제 (또는 1 단계에서 해결 된 문제보다 더 많이 해결하려는 경우)를 사용하십시오. 시작 솔루션이 실제로 해결하고자하는 볼록하지 않은 최적화 문제를 해결하기 위해 사용 된 솔루션 방법과 비교하여 전 세계 최적의 "유혹 영역"에 있기를 바랍니다.