그라디언트 기반 옵티 마이저에 대략적인 그라디언트를 제공하는 것이 쓸모 없습니까?

숫자 형 그래디언트 만 제공 할 수있는 경우 그래디언트 기반 최적화 알고리즘을 사용하는 것이 의미가 없습니까? 그렇지 않다면, 최적화 라이브러리 자체에 유한 한 차별화를 수행하는 것이 사소한 경우 왜 처음에 수치 적 그라디언트를 제공합니까?

[편집하다]

• 명확히하기 위해, 내 질문은 실제로 특정 응용 프로그램보다 더 일반적인 의미입니다. 내 응용 분야는 다양한 통계 프레임 워크에서 가능성 최적화입니다.

• 자동 차별화의 문제는 항상 캐치가있는 것 같습니다. AD 라이브러리는 외부 라이브러리 호출 (예 : BLAS)로 전파 할 수 없거나 워크 플로를 매우 재 작업하여 처리해야하는 어려움을 겪습니다. 특히 유형에 민감한 언어로 작업하는 경우에는 더욱 그렇습니다. AD와의 그립은 완전히 별개의 문제입니다. 그러나 나는 믿고 싶다!

• 내 질문을 더 잘 공식화해야하지만 그 일을 잘하고 있지 않습니다. 파생 미사용 최적화 알고리즘 또는 파생 기반 최적화 알고리즘을 사용하여 수치 기울기를 줄 수 있다는 경고가있는 경우 평균적으로 어느 것이 우수합니까?

Brian의 훌륭한 답변을 보완하기 위해 약간의 (편집) 배경을 드리겠습니다. 파생없는 최적화 방법이 유일한 기능 평가의 활용, 기본적으로 모든 유사있는 방법으로 정의된다 "허용 가능한 세트 다소 체계적으로 샘플링하고 최적의 함수 값 저장"- 모든이의 할 수 있는 정보를 제공 할를. 이러한 방법은 크게 세분화 될 수 있습니다.

1. 표본 선택이 기본적으로 무작위 인 확률 론적 방법 (임의성은 중요한 요소이며 다른 결정적인 요소가있을 수 있음을 의미). 이러한 방법들은 종종 물리적 또는 생물학적 과정에 의해 동기를 부여받으며 "시뮬레이션 어닐링", "유전자 알고리즘"또는 "입자 떼 / 반딧불 / 안티 힐 방법"과 같은 해당 이름을 갖습니다. "충분히 오래 시도하면 모든 지점 (최소화 기 포함)을 확률로 맞출 수 있습니다.$1$"(그렇게 여부 - 어떤 확률로 - 우주의 열 죽음 ... 또 다른 문제입니다 전에) 수학자로서, 나는 최후의 수단으로이 방법을 고려할 것입니다 : 당신이 모르는 경우 아무것도 에 대해 기능, 이것은 당신이 할 수있는 전부이며 운이 좋을 수도 있습니다.

2. 시료 선택이 무작위가 아닌 결정 론적 방법 , 즉 이전의 기능 평가를 기반으로합니다. 가장 유명한 예는 아마도 Nelder--Mead simplex 방법 일 것입니다. 다른 사람들은 세트 검색 방법을 생성하고 있습니다. 이것은 서로 다른 지점에서 함수의 가치, 즉 함수의 부드러움 사이에 (탐색 가능한) 관계가있는 경우에만 작동 할 수 있다는 점을 이해하는 것이 중요합니다. 실제로, 예를 들어 Nelder-Mead 방법에 대한 수렴 이론은 불균일 한 구성에 기초합니다.심플 렉스의 꼭짓점에서 함수 값을 기반으로 한 그라디언트의 유한 차분 근사값은 심플 렉스가 점으로 축소됨에 따라 정확한 그라디언트와 0으로 수렴 함을 보여줍니다. 표준 유한 차분 근사를 기반으로하는 변형을 나침반 검색 이라고 합니다.

3. 모델 - 기반 방법을 다음 기준을 사용하여 최소화되는 함수 값 (예를 들면, 보간함으로써) 함수의 로컬 모델을 구축하는 데 사용되는, 방법 (그라데이션 - / 독일인 계). 유한 차분 근사는 다항 보간법의 정확한 도함수와 동일하므로 고전적인 "숫자 기울기"접근 방식도이 등급에 속합니다.

보시다시피, 이러한 클래스 사이의 경계는 유동적이며 종종 해석의 문제입니다. 그러나 도덕은 분명해야합니다 . 최소화하려는 기능에 대한 모든 정보를 사용하십시오. Cornelius Lanczos를 인용하려면 :

정보 부족은 수학적 속임수로 해결 될 수 없습니다.

결국, 함수에 대해 아무것도 모른다면 완전히 무작위 일 수 있으며 임의의 값을 최소화하는 것은 바보의 심부름입니다 ...

목표가 부드러 우면 미분 계수 최적화 알고리즘을 사용하는 것보다 미분 계수에 대한 유한 차분 근사법을 사용하는 것이 더 효과적입니다. 미분 값을 정확하게 계산하는 코드가있는 경우 유한 차분 근사값을 사용하는 대신 일반적으로 해당 코드를 사용하는 것이 가장 좋습니다.

일부 최적화 라이브러리는 휴리스틱을 사용하여 단계 크기 매개 변수를 자동으로 유한 차분 근사값을 계산하지만 적절한 단계 크기에 대한 지식이 많기 때문에 자신의 루틴을 사용하여 유한 차분 근사치를 계산하는 것이 좋습니다 코드에서 악용 할 수있는 특수 구조.

종종 가치가있는 또 다른 옵션은 자동 미분 기술을 사용하여 목적 함수 자체를 계산하기 위해 소스 코드에서 분석 파생물을 계산하는 서브 루틴을 생성하는 것입니다.

귀하의 질문은 그라디언트 기반 최적화 프로그램에 대해 묻기 때문에 Brian이 옳았다 고 생각합니다. 나는 현재 그 자신과 어려움을 겪고 있기 때문에 몇 가지 문제 만 공유 할 것입니다.

유한 한 차이의 문제점은 1) 성능입니다. 각 차원에 대해 함수를 다시 평가해야하기 때문입니다. 2) 적절한 단계 크기를 선택하는 것이 까다로울 수 있습니다. 단계가 너무 크면 함수의 선형성 가정이 유지되지 않을 수 있습니다. 단계가 너무 작 으면 미분이 잡음을 증폭시키기 때문에 함수 자체에서 잡음이 발생할 수 있습니다. 함수가 미분 방정식을 풀어야하는 경우 후자는 실제 문제가 될 수 있습니다. 그래디언트를 분석적으로 계산하거나 감도 방정식을 사용하여 계산하는 것이 더 정확하고 빠를 수 있습니다.

소프트웨어에 이미 너무 많은 시간을 투자하지 않은 경우 시도 할 수있는 또 다른 방법이 있습니다. 즉, 복잡한 산술로이를 실행하는 것입니다. 이를 복잡한 단계 차별화 라고 합니다. 기본 아이디어는 함수를 평가할 때 매개 변수 X에 대한 기울기를 원한다면 X의 허수 부분을 매우 작은 수의 eps로 설정하는 것 입니다. 계산을 수행 한 후 함수 값의 허수 부분을 eps 로 나눈 값 은 X에 대한 그라디언트입니다. Y에 대한 그라디언트를 원할 때는 물론 다시 수행해야합니다. 흥미로운 점은 eps입니다.아주 작게 만들 수 있습니다. 그것이 작동하는 이유는 미분 미적분의 일반 규칙이 복잡한 산술 규칙에 정확하게 반영되어 있기 때문입니다.

말했다, 내가로 간주 되지 는 복잡한 연산의 복잡한 기능을 수행하는 것이 쉽지 않다 때문에, 만병 통치약, 기울기가 분석적으로 계산 될 수 있다면 그것은 가치가 없어, 미분 방정식의 경우는 정확히 동등의 감도 방정식 필요에 따라하고 있습니다.