대략적인 수치 미분법을 사용한 뉴턴-라프 슨 근사의 단점

함수 있고 과 같은 를 찾고 싶다고 가정 해 봅시다 . Newton-Raphson 방법을 사용할 수 있습니다. 그러나 이것은 미분 함수 알아야합니다 . 대한 분석 표현식을 사용하지 못할 수 있습니다. 예를 들어, 는 실험 값의 데이터베이스를 참조하는 복잡한 컴퓨터 코드로 정의 될 수 있습니다. $f$ $x$ $f(x)\approx 0$ $f'(x)$ $f$ $f$

경우에도 그러나 복잡하다, 나는 대략 수 특정에 대한 작은 숫자를 선택하여 하고 calculting $f'$ $f'(a)$ $a$ $\epsilon$ . $f'(a) \approx {f(a+\epsilon) - f(a)\over\epsilon}$

이 접근 방식에는 뚜렷한 단점이 있다고 들었지만 이것이 무엇인지 모르겠습니다. Wikipedia는 "이 근사를 사용하면 Newton의 방법보다 수렴이 느린 secant 방법과 같은 결과를 얻을 수 있습니다."

누군가가 이것에 대해 자세히 설명 하고이 기술의 문제를 특별히 논의하는 참조를 제공 할 수 있습니까?

reference-request approximation

— 마크 도미 누스
소스

시컨트 방법은 미분이 계산 비용이 높을 때 훌륭한 대안입니다. 3 단계 시컨트는 일반적으로 2 단계 뉴턴과 대략 동일하며 단계가 저렴합니다.

유한 차이 (제안한대로)로 수치 미분을 계산할 때마다 함수의 노이즈가 증폭되므로 엡실론을 신중하게 선택해야합니다. 한 가지 가능성은 솔루션에 가까워지면 이진 세분 법으로 전환하여 f 가 로컬로 단조로운 한 수렴되도록 보장하는 것 입니다.

— Mike Dunlavey 2016 년

André가 언급했듯이, 2 점 숫자 파생어는 다시 시작한 Secant 방법 과 동일합니다 . 그러나 더 빠른 수렴을 위해 소위 일리노이 알고리즘을 제안합니다.이 알고리즘 은 Secant 방법과 밀접한 관련이 있으며 귀하의 경우 2 개가 아닌 단계 당 1 포인트 만 사용하며 거짓 위치 방법.

— Pedro

의 차원은 무엇입니까 ? 차원이 높을수록 파생 상품이 더 가치가 있습니다. Jacobian-free Newton-Krylov는 명시 적 파생 상품을 필요로하지 않는 옵션입니다.

x

$x$

— Jed Brown

표기법을 위해, 이라고 가정합시다 (즉, 벡터를 입력 값으로 사용하고 동일한 크기의 벡터를 출력하는 벡터 값 함수입니다). 계산 비용과 수치 정확도라는 두 가지 문제가 있습니다. $f: \mathbb{R}^{n} \rightarrow \mathbb{R}^{n}$

미분 계산 (자 코비안 행렬 또는 원하는대로 또는) 유한 차를 이용하여 요구하려고 함수 평가. 정의에서 직접 부동 소수점 산술을 사용하여 미분을 계산할 수 있다면 차이 몫을 계산해야합니다 $\mathrm{D}f(x)$ $J(x)$ $(\nabla f(x))^{T}$ $n$

\begin{aligned} D f (엑스) {이자형}_{나는} = \underset{ε \to 0}{임} \frac{에프 (엑스 + ε {이자형}_{나는}) - 에프 (엑스)}{ε} \end{aligned}

$\begin{align} \mathrm{D}f(x)e_{i} = \lim_{\varepsilon \rightarrow 0} \frac{f(x + \varepsilon e_{i}) - f(x)}{\varepsilon} \end{align}$

의 희소성 패턴을 알고 있거나 감지 할 수 있기 때문에 어떤 종류의 "스마트 유한 차분"(Curtis-Powell-Reid와 같은)을 수행하지 않는다고 가정 할 때 각 . 경우 크고, 그 기능 평가를 많이 될 수 있습니다. 대한 분석식이 있으면 계산이 더 저렴할 수 있습니다. 함수 평가 비용의 약 3 ~ 5 배에서 를 계산하기 위해 경우에 따라 자동 (알고리즘이라고도 함) 미분 방법을 사용할 수도 있습니다 . $i = 1, \ldots, n$ $\mathrm{D}f$ $n$ $\mathrm{D}f$ $\mathrm{D}f$

수치적인 문제도 있습니다. 제로로 간다 물론, 컴퓨터에, 우리는 그래서 우리는 대략 때, 스칼라의 제한을받을 수 없어 , 우리가 정말 따기하고 "작은"수와 계산 $\mathrm{D}f$ $\varepsilon$

\begin{aligned} 디 에프 (엑스) {이자형}_{나는} \approx \frac{에프 (엑스 + ε {이자형}_{나는}) - 에프 (엑스)}{ε}, \end{aligned}

$\begin{align} \mathrm{D}f(x)e_{i} \approx \frac{f(x + \varepsilon e_{i}) - f(x)}{\varepsilon}, \end{align}$

여기서 는 근사값을 의미하며, 우리는 그것이 근사한 근사값이기를 바랍니다. 너무 크게 선택하면 근사값이 나빠질 수 있지만 너무 작게 선택하면 큰 반올림 오류가 발생할 수 있기 때문에 부동 소수점 산술에서이 근사값을 계산하는 것은 어렵 습니다. 이러한 효과는 Wikipedia 기사 에서 피상적 인 세부 수치 표현에 관한 것입니다 . 자세한 내용은 기사에서 찾을 수 있습니다. $\approx$ $\varepsilon$ $\varepsilon$

Jacobian 행렬 의 오차 가 너무 크지 않으면 Newton-Raphson 반복이 수렴됩니다. 자세한 이론적 분석 은 Nick Higham 의 수치 알고리즘 의 정확도 및 안정성 25 장 또는 이를 기반으로하는 Françoise Tisseur의 논문 을 참조하십시오. $\mathrm{D}f$

라이브러리는 일반적으로 이러한 알고리즘 세부 사항을 처리하며 일반적으로 Newton-Raphson 알고리즘 (또는 그 변형)의 라이브러리 구현은 매우 훌륭하게 수렴되지만, 종종 단점으로 인해 문제가 발생하는 문제가 있습니다 위. 스칼라 경우 에서는 실제로 견고성과 우수한 수렴 속도로 인해 Brent의 방법을 사용 합니다. $(n = 1)$

— 제프 옥스 베리
소스