문자열을 통한 왕복 변환이 더블에 대해 안전하지 않은 이유는 무엇입니까?


185

최근에 이중 텍스트를 직렬화 한 다음 다시 가져와야했습니다. 값이 같지 않은 것 같습니다.

double d1 = 0.84551240822557006;
string s = d1.ToString("R");
double d2 = double.Parse(s);
bool s1 = d1 == d2;
// -> s1 is False

그러나 MSDN : Standard Numeric Format Strings 에 따르면 "R"옵션은 왕복 안전을 보장해야합니다.

라운드 트립 ( "R") 형식 지정자는 문자열로 변환 된 숫자 값이 동일한 숫자 값으로 다시 구문 분석되도록하는 데 사용됩니다.

왜 이런 일이 일어 났습니까?


6
나는 VS에서 디버깅했고 여기에서 true를 반환합니다.
Neel

19
나는 그것이 거짓을 반환하는 것을 재현했습니다. 매우 흥미로운 질문입니다.
Jon Skeet

40
.net 4.0 x86-true, .net 4.0 x64-false
Ulugbek Umirov 2016 년

25
.net에서 인상적인 버그를 발견 한 것을 축하합니다.
Aron

14
@Casperah 왕복 여행은 특히 부동 소수점 불일치를 피하기위한 것입니다.
Gusdor

답변:


178

나는 버그를 발견했다.

.NET은 다음에서 수행합니다 clr\src\vm\comnumber.cpp.

DoubleToNumber(value, DOUBLE_PRECISION, &number);

if (number.scale == (int) SCALE_NAN) {
    gc.refRetVal = gc.numfmt->sNaN;
    goto lExit;
}

if (number.scale == SCALE_INF) {
    gc.refRetVal = (number.sign? gc.numfmt->sNegativeInfinity: gc.numfmt->sPositiveInfinity);
    goto lExit;
}

NumberToDouble(&number, &dTest);

if (dTest == value) {
    gc.refRetVal = NumberToString(&number, 'G', DOUBLE_PRECISION, gc.numfmt);
    goto lExit;
}

DoubleToNumber(value, 17, &number);

DoubleToNumber매우 간단 _ecvt합니다. C 런타임에있는을 호출하기 만하면 됩니다.

void DoubleToNumber(double value, int precision, NUMBER* number)
{
    WRAPPER_CONTRACT
    _ASSERTE(number != NULL);

    number->precision = precision;
    if (((FPDOUBLE*)&value)->exp == 0x7FF) {
        number->scale = (((FPDOUBLE*)&value)->mantLo || ((FPDOUBLE*)&value)->mantHi) ? SCALE_NAN: SCALE_INF;
        number->sign = ((FPDOUBLE*)&value)->sign;
        number->digits[0] = 0;
    }
    else {
        char* src = _ecvt(value, precision, &number->scale, &number->sign);
        wchar* dst = number->digits;
        if (*src != '0') {
            while (*src) *dst++ = *src++;
        }
        *dst = 0;
    }
}

_ecvt문자열 을 반환합니다 845512408225570.

후행 0을 확인 하시겠습니까? 그것은 모든 차이를 만드는 것으로 밝혀졌습니다!
제로가 존재하는 경우, 그 결과는 실제로 뒤로 구문 분석0.84551240822557006하여 인 원래 는 동일한 비교 수 있도록하고, 따라서 15 자리 숫자가 반환됩니다 - 수.

내가 해당 제로의 문자열을자를 경우에는 84551240822557, 나는 다시 얻을 수 0.84551240822556994있는, 아니 원래의 수 및 따라서는 17 자리 숫자를 반환합니다.

증명 : 디버거에서 다음 64 비트 코드 (대부분은 Microsoft Shared Source CLI 2.0에서 추출)를 실행하고 v끝에서 검사 합니다 main.

#include <stdlib.h>
#include <string.h>
#include <math.h>

#define min(a, b) (((a) < (b)) ? (a) : (b))

struct NUMBER {
    int precision;
    int scale;
    int sign;
    wchar_t digits[20 + 1];
    NUMBER() : precision(0), scale(0), sign(0) {}
};


#define I64(x) x##LL
static const unsigned long long rgval64Power10[] = {
    // powers of 10
    /*1*/ I64(0xa000000000000000),
    /*2*/ I64(0xc800000000000000),
    /*3*/ I64(0xfa00000000000000),
    /*4*/ I64(0x9c40000000000000),
    /*5*/ I64(0xc350000000000000),
    /*6*/ I64(0xf424000000000000),
    /*7*/ I64(0x9896800000000000),
    /*8*/ I64(0xbebc200000000000),
    /*9*/ I64(0xee6b280000000000),
    /*10*/ I64(0x9502f90000000000),
    /*11*/ I64(0xba43b74000000000),
    /*12*/ I64(0xe8d4a51000000000),
    /*13*/ I64(0x9184e72a00000000),
    /*14*/ I64(0xb5e620f480000000),
    /*15*/ I64(0xe35fa931a0000000),

    // powers of 0.1
    /*1*/ I64(0xcccccccccccccccd),
    /*2*/ I64(0xa3d70a3d70a3d70b),
    /*3*/ I64(0x83126e978d4fdf3c),
    /*4*/ I64(0xd1b71758e219652e),
    /*5*/ I64(0xa7c5ac471b478425),
    /*6*/ I64(0x8637bd05af6c69b7),
    /*7*/ I64(0xd6bf94d5e57a42be),
    /*8*/ I64(0xabcc77118461ceff),
    /*9*/ I64(0x89705f4136b4a599),
    /*10*/ I64(0xdbe6fecebdedd5c2),
    /*11*/ I64(0xafebff0bcb24ab02),
    /*12*/ I64(0x8cbccc096f5088cf),
    /*13*/ I64(0xe12e13424bb40e18),
    /*14*/ I64(0xb424dc35095cd813),
    /*15*/ I64(0x901d7cf73ab0acdc),
};

static const signed char rgexp64Power10[] = {
    // exponents for both powers of 10 and 0.1
    /*1*/ 4,
    /*2*/ 7,
    /*3*/ 10,
    /*4*/ 14,
    /*5*/ 17,
    /*6*/ 20,
    /*7*/ 24,
    /*8*/ 27,
    /*9*/ 30,
    /*10*/ 34,
    /*11*/ 37,
    /*12*/ 40,
    /*13*/ 44,
    /*14*/ 47,
    /*15*/ 50,
};

static const unsigned long long rgval64Power10By16[] = {
    // powers of 10^16
    /*1*/ I64(0x8e1bc9bf04000000),
    /*2*/ I64(0x9dc5ada82b70b59e),
    /*3*/ I64(0xaf298d050e4395d6),
    /*4*/ I64(0xc2781f49ffcfa6d4),
    /*5*/ I64(0xd7e77a8f87daf7fa),
    /*6*/ I64(0xefb3ab16c59b14a0),
    /*7*/ I64(0x850fadc09923329c),
    /*8*/ I64(0x93ba47c980e98cde),
    /*9*/ I64(0xa402b9c5a8d3a6e6),
    /*10*/ I64(0xb616a12b7fe617a8),
    /*11*/ I64(0xca28a291859bbf90),
    /*12*/ I64(0xe070f78d39275566),
    /*13*/ I64(0xf92e0c3537826140),
    /*14*/ I64(0x8a5296ffe33cc92c),
    /*15*/ I64(0x9991a6f3d6bf1762),
    /*16*/ I64(0xaa7eebfb9df9de8a),
    /*17*/ I64(0xbd49d14aa79dbc7e),
    /*18*/ I64(0xd226fc195c6a2f88),
    /*19*/ I64(0xe950df20247c83f8),
    /*20*/ I64(0x81842f29f2cce373),
    /*21*/ I64(0x8fcac257558ee4e2),

    // powers of 0.1^16
    /*1*/ I64(0xe69594bec44de160),
    /*2*/ I64(0xcfb11ead453994c3),
    /*3*/ I64(0xbb127c53b17ec165),
    /*4*/ I64(0xa87fea27a539e9b3),
    /*5*/ I64(0x97c560ba6b0919b5),
    /*6*/ I64(0x88b402f7fd7553ab),
    /*7*/ I64(0xf64335bcf065d3a0),
    /*8*/ I64(0xddd0467c64bce4c4),
    /*9*/ I64(0xc7caba6e7c5382ed),
    /*10*/ I64(0xb3f4e093db73a0b7),
    /*11*/ I64(0xa21727db38cb0053),
    /*12*/ I64(0x91ff83775423cc29),
    /*13*/ I64(0x8380dea93da4bc82),
    /*14*/ I64(0xece53cec4a314f00),
    /*15*/ I64(0xd5605fcdcf32e217),
    /*16*/ I64(0xc0314325637a1978),
    /*17*/ I64(0xad1c8eab5ee43ba2),
    /*18*/ I64(0x9becce62836ac5b0),
    /*19*/ I64(0x8c71dcd9ba0b495c),
    /*20*/ I64(0xfd00b89747823938),
    /*21*/ I64(0xe3e27a444d8d991a),
};

static const signed short rgexp64Power10By16[] = {
    // exponents for both powers of 10^16 and 0.1^16
    /*1*/ 54,
    /*2*/ 107,
    /*3*/ 160,
    /*4*/ 213,
    /*5*/ 266,
    /*6*/ 319,
    /*7*/ 373,
    /*8*/ 426,
    /*9*/ 479,
    /*10*/ 532,
    /*11*/ 585,
    /*12*/ 638,
    /*13*/ 691,
    /*14*/ 745,
    /*15*/ 798,
    /*16*/ 851,
    /*17*/ 904,
    /*18*/ 957,
    /*19*/ 1010,
    /*20*/ 1064,
    /*21*/ 1117,
};

static unsigned DigitsToInt(wchar_t* p, int count)
{
    wchar_t* end = p + count;
    unsigned res = *p - '0';
    for ( p = p + 1; p < end; p++) {
        res = 10 * res + *p - '0';
    }
    return res;
}
#define Mul32x32To64(a, b) ((unsigned long long)((unsigned long)(a)) * (unsigned long long)((unsigned long)(b)))

static unsigned long long Mul64Lossy(unsigned long long a, unsigned long long b, int* pexp)
{
    // it's ok to losse some precision here - Mul64 will be called
    // at most twice during the conversion, so the error won't propagate
    // to any of the 53 significant bits of the result
    unsigned long long val = Mul32x32To64(a >> 32, b >> 32) +
        (Mul32x32To64(a >> 32, b) >> 32) +
        (Mul32x32To64(a, b >> 32) >> 32);

    // normalize
    if ((val & I64(0x8000000000000000)) == 0) { val <<= 1; *pexp -= 1; }

    return val;
}

void NumberToDouble(NUMBER* number, double* value)
{
    unsigned long long val;
    int exp;
    wchar_t* src = number->digits;
    int remaining;
    int total;
    int count;
    int scale;
    int absscale;
    int index;

    total = (int)wcslen(src);
    remaining = total;

    // skip the leading zeros
    while (*src == '0') {
        remaining--;
        src++;
    }

    if (remaining == 0) {
        *value = 0;
        goto done;
    }

    count = min(remaining, 9);
    remaining -= count;
    val = DigitsToInt(src, count);

    if (remaining > 0) {
        count = min(remaining, 9);
        remaining -= count;

        // get the denormalized power of 10
        unsigned long mult = (unsigned long)(rgval64Power10[count-1] >> (64 - rgexp64Power10[count-1]));
        val = Mul32x32To64(val, mult) + DigitsToInt(src+9, count);
    }

    scale = number->scale - (total - remaining);
    absscale = abs(scale);
    if (absscale >= 22 * 16) {
        // overflow / underflow
        *(unsigned long long*)value = (scale > 0) ? I64(0x7FF0000000000000) : 0;
        goto done;
    }

    exp = 64;

    // normalize the mantisa
    if ((val & I64(0xFFFFFFFF00000000)) == 0) { val <<= 32; exp -= 32; }
    if ((val & I64(0xFFFF000000000000)) == 0) { val <<= 16; exp -= 16; }
    if ((val & I64(0xFF00000000000000)) == 0) { val <<= 8; exp -= 8; }
    if ((val & I64(0xF000000000000000)) == 0) { val <<= 4; exp -= 4; }
    if ((val & I64(0xC000000000000000)) == 0) { val <<= 2; exp -= 2; }
    if ((val & I64(0x8000000000000000)) == 0) { val <<= 1; exp -= 1; }

    index = absscale & 15;
    if (index) {
        int multexp = rgexp64Power10[index-1];
        // the exponents are shared between the inverted and regular table
        exp += (scale < 0) ? (-multexp + 1) : multexp;

        unsigned long long multval = rgval64Power10[index + ((scale < 0) ? 15 : 0) - 1];
        val = Mul64Lossy(val, multval, &exp);
    }

    index = absscale >> 4;
    if (index) {
        int multexp = rgexp64Power10By16[index-1];
        // the exponents are shared between the inverted and regular table
        exp += (scale < 0) ? (-multexp + 1) : multexp;

        unsigned long long multval = rgval64Power10By16[index + ((scale < 0) ? 21 : 0) - 1];
        val = Mul64Lossy(val, multval, &exp);
    }

    // round & scale down
    if ((unsigned long)val & (1 << 10))
    {
        // IEEE round to even
        unsigned long long tmp = val + ((1 << 10) - 1) + (((unsigned long)val >> 11) & 1);
        if (tmp < val) {
            // overflow
            tmp = (tmp >> 1) | I64(0x8000000000000000);
            exp += 1;
        }
        val = tmp;
    }
    val >>= 11;

    exp += 0x3FE;

    if (exp <= 0) {
        if (exp <= -52) {
            // underflow
            val = 0;
        }
        else {
            // denormalized
            val >>= (-exp+1);
        }
    }
    else
        if (exp >= 0x7FF) {
            // overflow
            val = I64(0x7FF0000000000000);
        }
        else {
            val = ((unsigned long long)exp << 52) + (val & I64(0x000FFFFFFFFFFFFF));
        }

        *(unsigned long long*)value = val;

done:
        if (number->sign) *(unsigned long long*)value |= I64(0x8000000000000000);
}

int main()
{
    NUMBER number;
    number.precision = 15;
    double v = 0.84551240822557006;
    char *src = _ecvt(v, number.precision, &number.scale, &number.sign);
    int truncate = 0;  // change to 1 if you want to truncate
    if (truncate)
    {
        while (*src && src[strlen(src) - 1] == '0')
        {
            src[strlen(src) - 1] = 0;
        }
    }
    wchar_t* dst = number.digits;
    if (*src != '0') {
        while (*src) *dst++ = *src++;
    }
    *dst++ = 0;
    NumberToDouble(&number, &v);
    return 0;
}

4
좋은 설명 +1입니다. 이 코드는 shared-source-cli-2.0의 코드 입니까? 이것이 내가 찾은 유일한 생각입니다.
Soner Gönül

10
나는 오히려 한심한 말을해야합니다. 수학적으로 동일한 문자열 (마침표가 0이거나 2.1e-1 대 0.21이라고 가정)은 항상 동일한 결과를 제공해야하며 수학적으로 정렬 된 문자열은 순서와 일치하는 결과를 제공해야합니다.
gnasher729

4
@MrLister : 왜 "2.1E-1이 0.21과 같지 않아야합니까?"
user541686

9
@ gnasher729 : 나는 "2.1e-1"과 "0.21"에 다소 동의하지만 ... 후행 0이있는 문자열은없는 0과 정확히 같지 않습니다-전자의 경우 0은 중요한 숫자이며 추가합니다 정도.
cHao

4
@cHao : Er ... 정밀도를 높여 주지만, 컴퓨터가 최종 답변을 계산하는 방법이 아니라 sigfigs가 중요한 경우 최종 답변을 결정하는 방법에만 영향을 미칩니다. 컴퓨터의 임무는 숫자의 실제 측정 정밀도에 관계없이 모든 것을 최고 정밀도 로 계산하는 것 입니다. 최종 결과를 반올림하려는 경우 프로그래머의 문제입니다.
user541686

107

이것은 단순히 버그 인 것 같습니다. 당신의 기대는 전적으로 합리적입니다. DoubleConverter클래스 를 사용하는 다음 콘솔 앱을 실행하면서 .NET 4.5.1 (x64)을 사용하여 그것을 재현했습니다 . DoubleConverter.ToExactString는 다음으로 표시되는 정확한 값을 보여줍니다 double.

using System;

class Test
{
    static void Main()
    {
        double d1 = 0.84551240822557006;
        string s = d1.ToString("r");
        double d2 = double.Parse(s);
        Console.WriteLine(s);
        Console.WriteLine(DoubleConverter.ToExactString(d1));
        Console.WriteLine(DoubleConverter.ToExactString(d2));
        Console.WriteLine(d1 == d2);
    }
}

.NET의 결과 :

0.84551240822557
0.845512408225570055719799711368978023529052734375
0.84551240822556994469749724885332398116588592529296875
False

모노 3.3.0의 결과 :

0.84551240822557006
0.845512408225570055719799711368978023529052734375
0.845512408225570055719799711368978023529052734375
True

Mono (끝에 "006"이 포함되어 있음)에서 문자열을 수동으로 지정하면 .NET은 해당 문자열을 원래 값으로 다시 구문 분석합니다. ToString("R")파싱보다는 처리에 문제가있는 것처럼 보입니다 .

다른 의견에서 언급했듯이 이것은 x64 CLR에서 실행되는 것으로 보입니다. x86을 대상으로 위의 코드를 컴파일하고 실행하면 괜찮습니다.

csc /platform:x86 Test.cs DoubleConverter.cs

... 모노와 동일한 결과를 얻습니다. RyuJIT에서 버그가 나타나는지 아는 것이 흥미로울 것입니다. 지금 설치 한 것이 없습니다. 특히, 이것이 JIT 버그 일 가능성 이 있다고 생각할 수도 있고 , double.ToString아키텍처 기반 의 내부 구현이 완전히 다른 것일 수도 있습니다 .

http://connect.microsoft.com 에서 버그를 신고 하는 것이 좋습니다 .


1
존? 확인하기 위해 이것은 JITer의 버그 ToString()입니까? 하드 코딩 된 값을 바꾸려고했지만 rand.NextDouble()아무런 문제가 없었습니다.
Aron

1
네, 분명히 ToString("R")전환에 있습니다. 시도 ToString("G32")하고 올바른 값을 출력 확인할 수 있습니다.
user541686

1
@ Aron : JITter의 버그인지 또는 x64 특정 BCL 구현의 버그인지 알 수 없습니다. 나는 그것이 인라인만큼 간단하다는 것을 의심합니다. 임의의 값으로 테스트하는 것이 실제로 큰 도움이되지는 않습니다.
Jon Skeet

2
내가 생각하고있는 것은 "왕복"형식이 0.498ulp보다 큰 값을 출력하고 구문 분석 논리가 때로는 작은 부분의 ulp를 잘못 반올림한다는 것입니다. "왕복"형식은 1 / 4-ULP 내에 수치 적으로 정확하다는 수치를 출력해야한다고 생각하기 때문에 어떤 코드를 더 비난하는지 잘 모르겠습니다. 지정된 값의 0.75ulp 내에서 값을 생성하는 구문 분석 논리는 지정된 것의 0.502ulp 내에서 결과를 생성해야하는 논리보다 훨씬 쉽습니다.
supercat 2016 년

1
Jon Skeet의 웹 사이트가 다운 되었습니까? 나는 그렇게 믿지 않을 것입니다. 여기 모든 믿음을 잃어 버리고 있습니다.
Patrick M

2

최근 에이 문제를 해결하려고합니다 . code를 통해 알 수 있듯이 double.ToString ( "R")에는 다음과 같은 논리가 있습니다.

  1. 정밀도를 15로하여 double을 문자열로 변환 해보십시오.
  2. 문자열을 다시 double로 변환하고 원래 double과 비교하십시오. 동일한 경우 정밀도가 15 인 변환 된 문자열을 반환합니다.
  3. 그렇지 않으면, double을 문자열 17의 정밀도로 변환하십시오.

이 경우 double.ToString ( "R")은 15의 정밀도로 결과를 잘못 선택하여 버그가 발생합니다. MSDN 문서에는 공식 해결 방법이 있습니다.

경우에 따라 "R"표준 숫자 형식 문자열로 형식화 된 Double 값은 / platform : x64 또는 / platform : anycpu 스위치를 사용하여 컴파일되고 64 비트 시스템에서 실행되는 경우 성공적으로 왕복하지 않습니다. 이 문제를 해결하려면 "G17"표준 숫자 형식 문자열을 사용하여 Double 값의 형식을 지정할 수 있습니다. 다음 예제에서는 성공적으로 왕복하지 않는 Double 값과 함께 "R"형식 문자열을 사용하고 "G17"형식 문자열을 사용하여 원래 값을 성공적으로 왕복합니다.

따라서이 문제가 해결되지 않으면 라운드 트립에 double.ToString ( "G17")을 사용해야합니다.

업데이트 : 이제이 버그를 추적하기 위한 특정 문제 가 있습니다.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.