라인 검색에서 3 차 보간법과 2 차 보간법 결정에 도움

유사 뉴턴 BFGS 알고리즘의 일부로 라인 검색을 수행하고 있습니다. 라인 검색의 한 단계에서 큐빅 보간법을 사용하여 로컬 최소화기에 더 가깝게 이동합니다.

허락하다 $f : R \rightarrow R, f \in C^1$관심있는 기능이어야합니다. 찾고 싶습니다$x^*$ 그런 $f'(x^*) \approx 0$.

허락하다 $f(x_k)$, $f'(x_k)$, $f(x_{k+1})$ 과 $f'(x_{k+1})$알려져있다. 또한 가정$0\le x_k<x^*<x_{k+1}$. 입방 다항식에 맞습니다$Q(x)=ax^3+bx^2+cx+d$ 그래서 $Q(0)=f(x_k)$, $Q'(0)=f'(x_k)$, $Q(x_{k+1}-x_{k})=f(x_{k+1})$ 과 $Q'(x_{k+1}-x_{k})=f'(x_{k+1})$.

나는 이차 방정식을 해결합니다. $(1): Q'(x^*-x_k) = 0$ 내가 찾은 $x^*$ 닫힌 양식 솔루션을 사용합니다.

위의 경우를 제외하고 대부분의 경우 잘 작동합니다. $f(x)=\mathcal{O}(x^2)$ 닫힌 양식 솔루션으로 $(1)$ ~로 나누다 $a$ 이것은 아주 가깝거나 정확하게됩니다 $0$.

내 해결책은 $a$ "너무 작 으면"2 차 다항식의 최소화를 위해 닫힌 형태 솔루션을 취하면됩니다. $Q_2(x)=bx^2+cx+d$ 내가 이미 계수를 가지고 $b,c,d$ 이전부터 $Q(x)$.

내 질문은 : 입방에 대한 이차 보간을 언제 수행 해야하는지에 대한 좋은 테스트를 어떻게 고안합니까? 테스트를위한 순진한 접근$a \equiv 0$ 숫자로 인해 나빠서보고 있습니다. $|a| < \epsilon\tau$ 어디 $\epsilon$ 기계 정밀도이지만, 좋은 것을 결정할 수 없습니다 $\tau$ 그것은 불변의 규모입니다 $f$.

보너스 질문 : 계수 사용에 수치 문제가 있습니까?$b,c,d$, 큐빅 피팅 실패에서 계수를 계산하는 적절한 방법으로 새로운 2 차 피팅을 수행해야합니까?

설명을 위해 편집 : 내 질문에$f$ 실제로는 일반적으로 $\phi(\alpha)=f(\bar{x}_k+\alpha \bar{p_k})$문학에서. 질문 형식을 단순화했습니다. 해결하려는 최적화 문제는 6 차원에서 비선형입니다. 그리고 나는 Wolfe 조건이 BFGS 라인 검색에 충분하다는 것을 잘 알고 있습니다.$f'(x^*) \approx 0$; 나는 강력한 Wolfe 조건을 만족시킬 무언가를 찾고 있으며 입방 근사를 최소화하는 것이 좋은 단계입니다.

문제는 BFGS에 관한 것이 아니라 입방 계수가 2 차 근사법이 더 적합한 시점을 결정하는 방법을 결정하는 것입니다.

편집 2 : 업데이트 표기법, 방정식은 변경되지 않습니다.

흠 ... 3 차 보간은 라인 검색에 대해 들어 본 적이 없지만 일반적으로 과잉입니다.

문제를 올바르게 읽고 있다면 $x$스칼라일까요? 이 경우 BFGS가 문제를 해결하는 가장 효율적인 방법은 아닐 것입니다. Brenth의 방법과 같은 스칼라 최적화 알고리즘으로 문제를 더 빨리 해결할 수 있습니다.

BFGS에는 여러 줄 검색 알고리즘이 있습니다. 내 자신의 응용 프로그램의 경우 메모리 제한 BFGS (L-BFGS)를 사용 하면이 linesearch 가 매우 잘 작동합니다. Wolfe 조건 만 만족하면되며 정확한 최소값을 찾아서 많이 얻지 못할 수도 있습니다.

어쨌든, 실제로 귀하의 질문에 대답하기 위해 : 입방 형을 푸는 것이 NaN 또는 Inf와 같은 "나쁜"값을 얻는다면 단순히 이차 다항식으로 전환하는 것을 고려할 것입니다 ( 여기에서 수행됨 ).

나는 당신이 무엇을 의미하는지 잘 모르겠습니다. $b,c,d$? 3 차 적합치에 대한이 계수는 2 차 적합치와 같지 않으므로 재사용 할 수 없습니다.

마지막으로 사용하고 싶을 수도 있습니다 $f(x_{k-1})$ 오히려 $f(x_0)$함수가 (아마도) 대략 입방 형이거나 2 차 법일 뿐이므로 $x_k$ 과 $x_{k-1}$ 서로 (및 솔루션)에 더 가까이 있어야합니다 $x_0$.

도움이 되었기를 바랍니다.

Nocedal이 구현 한 Moré의 논문은 다음과 같습니다.

Jorge J. Moré와 David J. Thuente. 충분한 감소를 보장하는 라인 검색 알고리즘. ACM 거래 수학. 소프트웨어. 20, 3 (1994 년 9 월), 286-307. DOI http://dx.doi.org/10.1145/192115.192132 ( preprint ).