연산 순서, 숫자 알고리즘

나는 그것을 읽었다

(1) 조건이 잘못된 작업은 조건이 좋은 작업보다 먼저 수행해야합니다.

예를 들어, 곱셈을하지 않으면 서 빼기가 조절되지 않기 때문에 $xz-yz$ 를 로 계산해야합니다 $(x-y)z$ .

그러나 두 알고리즘의 1 차 오류 분석에 따르면 그것들은 단지 3 배 (*) 만 다른 것으로 밝혀졌으며, 이것이 왜 이것을 진술 (1)로 일반화 할 수 있는지, 또는 작업 순서. 당신은 진술이 (1) 받아 들여진 규칙이라고 생각합니까? 그리고 그것에 대한 다른 설명이 있습니까?

* : 더 구체적으로, 첫 번째 버전에는 상대적인 오류가 있습니다.

eps + 3 \frac{| x | + | y |}{| x | - | y |} eps

$\text{eps}+3\frac{|x|+|y|}{|x|-|y|}\text{eps}$ 번째 버전의 상대적인 에러에 의해 제한되는 반면

3 eps + \frac{| x | + | y |}{| x | - | y |} eps

$3\text{eps}+\frac{|x|+|y|}{|x|-|y|}\text{eps}$

여기서 $\text{eps}$ 는 기계 정밀도입니다.

이 분석은 $i$ 번째 중간 결과에 $(1+\varepsilon_i)$ (반올림 오차로 인해 가 곱해진다 는 가정을 기반으로합니다 . 여기서 $\varepsilon_i$ 는 묶인 iid 임의 변수 $\text{eps}$ 입니다. "1 차"는 와 같은 고차 항이 $\epsilon_i\epsilon_jx$ 무시 됨을 의미합니다 .

stability floating-point

— 바나나
소스

어디서 읽었습니까?

— David Ketcheson

내 강의 노트에서

— Bananach

로하자 나타낸다 정확한 곱셈의 부동 소수점 유사체 ((I는 나누기 연산자의 동그라미 버전을 얻으려고 노력 게으른) ), 추가 ( ()과 뺄셈을 각각). 우리는 (IEEE-754) 그들 모두에 대해 $\otimes,\oplus,\ominus$ $\times$ $+$ $-$ 여기서 는 반올림으로 인한 상대 오차의 상한을 제공하는 기계 엡실론입니다. 또한쉽게 입증 할 수있는다음의 정리 (모두 이고 이 너무 크지 않다고 가정)를 사용합니다 :

[x \oplus y] = (x + y) (1 + δ_{\oplus}), | δ_{\oplus} | \leq ϵ_{m a c h},

$[x\oplus y]=(x+ y)(1+\delta_\oplus),\quad |\delta_\oplus|\le\epsilon_\mathrm{mach},$

ϵ_{m a c h}

$\epsilon_\mathrm{mach}$

| δ_{i} | \leq ϵ_{m a c h}

$|\delta_i|\le\epsilon_\mathrm{mach}$

m

$m$

\prod_{i = 1}^{m} (1 + δ_{i}) = 1 + θ (m), | θ (m) | \leq \frac{m ϵ_{m a c h}}{1 - m ϵ_{m a c h}}

$\prod\limits_{i=1}^{m}(1+\delta_i)=1+\theta(m),\quad |\theta(m)|\le\frac{m\epsilon_\mathrm{mach}}{1-m\epsilon_\mathrm{mach}}$

하자 참된 정의 함수 실수 동작에 등을 $f$ $x,y,z$

f (x, y, z) = (x \times z) - (y \times z)

$f(x,y,z)=(x\times z)-(y\times z)$

상기 함수로서 IEEE 규격의 부동 소수점 연산의 실행의 두 가지 버전 및 부동 소수점에서 동작 표현 로서 다음과 같다 : $\tilde{f_1}$ $\tilde{f_2}$ $\tilde{x}=x(1+\delta_x),\tilde{y},\tilde{z}$

\tilde{f_{1}} (\tilde{x}, \tilde{y}, \tilde{z}) = (\tilde{x} \otimes \tilde{z}) ⊖ (\tilde{y} \otimes \tilde{z}),

$\tilde{f_1}(\tilde{x},\tilde{y},\tilde{z})=(\tilde{x}\otimes\tilde{z})\ominus(\tilde{y}\otimes\tilde{z}),$

\tilde{f_{2}} (\tilde{x}, \tilde{y}, \tilde{z}) = (\tilde{x} ⊖ \tilde{y}) \otimes \tilde{z} .

$\tilde{f_2}(\tilde{x},\tilde{y},\tilde{z})=(\tilde{x}\ominus\tilde{y})\otimes\tilde{z}.$

대한 오류 분석 : $\tilde{f_1}$

여기,

\begin{aligned} \tilde{f_{1}} & = (\underset{(\tilde{x} \otimes \tilde{z})}{\underset{⏟}{(x (1 + δ_{x}) \times z (1 + δ_{z})) (1 + δ_{\otimes_{x z}})}} - \underset{(\tilde{y} \otimes \tilde{z})}{\underset{⏟}{(y (1 + δ_{y}) \times z (1 + δ_{z})) (1 + δ_{\otimes_{y z}})}}) (1 + δ_{⊖}) \\ = 엑스 지 (1 + δ_{엑스}) (1 + δ_{지}) (1 + δ_{\otimes_{엑스 지}}) (1 + δ_{⊖}) - 와이 지 (1 + δ_{와이}) (1 + δ_{지}) (1 + δ_{\otimes_{와이 지}}) (1 + δ_{⊖}) \\ = 엑스 지 (1 + θ_{엑스 지, 1}) - 와이 지 (1 + θ_{와이 지, 1}) . \end{aligned}

$\begin{aligned} \tilde{f_1}&=\Big(\underbrace{\big(x(1+\delta_x)\times z(1+\delta_z)\big)\big(1+\delta_{\otimes_{xz}}\big)}_{(\tilde{x}\otimes\tilde{z})}-\underbrace{\big(y(1+\delta_y)\times z(1+\delta_z)\big)\big(1+\delta_{\otimes_{yz}}\big)}_{(\tilde{y}\otimes\tilde{z})}\Big)\Big(1+\delta_{\ominus}\Big)\\ &=xz(1+\delta_x)(1+\delta_z)(1+\delta_{\otimes_{xz}})(1+\delta_\ominus)-yz(1+\delta_y)(1+\delta_z)(1+\delta_{\otimes_{yz}})(1+\delta_\ominus)\\ &=xz(1+\theta_{xz,1})-yz(1+\theta_{yz,1}). \end{aligned}$

| θ_{x z, 1} |, | θ_{y z, 1} | \leq \frac{4 ϵ_{m a c h}}{1 - 4 ϵ_{m a c h}}

$|\theta_{xz,1}|,|\theta_{yz,1}|\le\frac{4\epsilon_\mathrm{mach}}{1-4\epsilon_\mathrm{mach}}$

마찬가지로 $\tilde{f_2}$ 여기,

\begin{aligned} \tilde{f_{2}} & = (((엑스 (1 + δ_{엑스}) - 와이 (1 + δ_{와이}) (1 + δ_{⊖_{엑스 와이}})) \times (지 (1 + δ_{지}))) (1 + δ_{\otimes}) \\ = 엑스 지 (1 + δ_{엑스}) (1 + δ_{지}) (1 + δ_{⊖_{엑스 와이}}) (1 + δ_{\otimes}) - 와이 지 (1 + δ_{와이}) (1 + δ_{지}) (1 + δ_{⊖_{엑스 와이}}) (1 + δ_{\otimes}) \\ = 엑스 지 (1 + θ_{엑스, 2}) - 와이 지 (1 + θ_{와이, 2}) . \end{aligned}

$\begin{aligned} \tilde{f_2}&=\Bigg(\Big(\big( x(1+\delta_x)-y(1+\delta_y \big)\big(1+\delta_{\ominus_{xy}}\big)\Big)\times \Big(z(1+\delta_z)\Big)\Bigg)\Bigg(1+\delta_{\otimes}\Bigg)\\ &=xz(1+\delta_x)(1+\delta_z)(1+\delta_{\ominus_{xy}})(1+\delta_\otimes)-yz(1+\delta_y)(1+\delta_z)(1+\delta_{\ominus_{xy}})(1+\delta_\otimes)\\ &=xz(1+\theta_{x,2})-yz(1+\theta_{y,2}). \end{aligned}$

| θ_{x, 2} |, | θ_{y, 2} | \leq \frac{4 ϵ_{m a c h}}{1 - 4 ϵ_{m a c h}}

$|\theta_{x,2}|,|\theta_{y,2}|\le\frac{4\epsilon_\mathrm{mach}}{1-4\epsilon_\mathrm{mach}}$

$\tilde{f_1}$ $\tilde{f_2}$ $\tilde{f_2}$ $\tilde{f_1}$

$x$ $y$

\begin{aligned} \frac{| \tilde{{에프}_{1}} - 에프 |}{| 에프 |} & = \frac{| 엑스 지 + 엑스 지 θ_{엑스 지, 1} - 와이 지 - 와이 지 θ_{와이 지, 1} - (엑스 지 - 와이 지) |}{| 엑스 지 - 와이 지 |} = \frac{| 엑스 θ_{엑스 지, 1} - 와이 θ_{와이 지, 1} |}{| 엑스 - 와이 |} \\ \leq \frac{| 엑스 | + | 와이 |}{| 엑스 - 와이 |} \frac{4 ϵ_{미디엄 ㅏ 씨 h}}{1 - 4 ϵ_{미디엄 ㅏ 씨 h}}, \end{aligned}

$\begin{aligned} \frac{|\tilde{f_1}-f|}{|f|}&=\frac{|xz+xz\theta_{xz,1}-yz-yz\theta_{yz,1}-(xz-yz)|}{|xz-yz|}=\frac{|x\theta_{xz,1}-y\theta_{yz,1}|}{|x-y|}\\ &\le\frac{|x|+|y|}{|x-y|}\frac{4\epsilon_\mathrm{mach}}{1-4\epsilon_\mathrm{mach}}, \end{aligned}$

\begin{aligned} \frac{| \tilde{{에프}_{2}} - 에프 |}{| 에프 |} & = \frac{| 엑스 지 + 엑스 지 θ_{엑스, 2} - 와이 지 - 와이 지 θ_{와이, 2} - (엑스 지 - 와이 지) |}{| 엑스 지 - 와이 지 |} = \frac{| 엑스 θ_{엑스, 2} - 와이 θ_{와이, 2} |}{| 엑스 - 와이 |} \\ \leq \frac{| 엑스 | + | 와이 |}{| 엑스 - 와이 |} \frac{4 ϵ_{미디엄 ㅏ 씨 h}}{1 - 4 ϵ_{미디엄 ㅏ 씨 h}} . \end{aligned}

$\begin{aligned} \frac{|\tilde{f_2}-f|}{|f|}&=\frac{|xz+xz\theta_{x,2}-yz-yz\theta_{y,2}-(xz-yz)|}{|xz-yz|}=\frac{|x\theta_{x,2}-y\theta_{y,2}|}{|x-y|}\\ &\le\frac{|x|+|y|}{|x-y|}\frac{4\epsilon_\mathrm{mach}}{1-4\epsilon_\mathrm{mach}}. \end{aligned}$

사이의 약간의 차이 $\theta$ 의 두 수치 구현 중 하나를 조금 더 좋거나 나쁘게 만들 수 있습니다. $x,y,z$ . 그러나 나는 그것이 어떤 의미가 있는지 의심합니다. 계산해야 할 경우 결과에 상관없이 결과는 완전히 의미가 있습니다. $(x-y)$ , 언제 $x$ 과 $y$ 부동 소수점 산술을 사용하여 (정확한 작업을 위해) 값이 충분히 가까우면 스케일링이 크게 도움이되지 않습니다. 이미 문제가 있습니다.

주의 : 위의 모든 논의는 오버플로 또는 언더 플로가 없다고 가정합니다. $x,y,z,f(x,y,z)\in\mathbb F_0$ , $\mathbb F_0$ 모든 일반 부동 소수점 숫자의 집합입니다.

— 안톤 멘 쇼브
소스