«precision» 태그된 질문

13.95a 로 반올림 하고 싶습니다 . >>> a 13.949999999999999 >>> round(a, 2) 13.949999999999999 round기능은 내가 예상대로 작동하지 않습니다.

1691 python  floating-point  rounding  precision 

배정 밀도와 단 정밀도의 차이점에 대해 읽었습니다. 그러나 대부분의 경우, float그리고 double하나를 사용하여 즉, 상호 교환 보이거나 다른 하나는 결과에 영향을 미칠 것 같지 않습니다. 이것이 사실입니까? 수레와 복식은 언제 교환 할 수 있습니까? 그들 사이의 차이점은 무엇입니까?

420 c++  c  floating-point  precision 

그래서 나는 나의 마지막 질문에 대한 답을 얻었습니다 (왜 그런 생각을하지 않았는지 모르겠습니다). 나는 인쇄 된 double사용 cout나는 그것을 기대하지 않은 때 GOT가 반올림. 완전 정밀도로 cout인쇄하려면 어떻게 double해야합니까?

332 c++  floating-point  precision  iostream  cout 

소수점 이하 두 자리까지 숫자를 표시하고 싶었습니다. toPrecision(2)JavaScript에서 사용할 수 있다고 생각했습니다 . 그러나 숫자가 0.05인 경우을 얻습니다 0.0500. 차라리 그대로 유지하고 싶습니다. JSbin에서 참조하십시오 . 가장 좋은 방법은 무엇입니까? 몇 가지 솔루션을 코딩하는 것을 생각할 수 있지만 이와 같은 것이 내장되어 있다고 생각합니까?

315 javascript  floating-point  precision 

데이터베이스에 다음 열이 지정되어 있습니다. decimal (5,2) 이것을 어떻게 해석합니까? SQL Server Management Studio에서 볼 때 열의 속성에 따르면 십진수 (숫자 정밀도, 숫자 스케일)를 의미합니다. 정밀도와 스케일은 실제 용어의 의미는 무엇입니까? 이것을 5 자리와 소수점 이하 두 자리가있는 10 진수로 해석하기 쉽습니다. 즉 12345.12 추신 : 나는 동료로부터 정답을 결정할 …

245 sql  database  decimal  scale  precision 

밀리 초 정밀도로 실제 시간의 타임 스탬프를 정확히 어떻게 구성 할 수 있습니까? 16.4.2013 9 : 48 : 00 : 123과 같은 것이 필요합니다. 이게 가능해? 초당 10 번 값을 샘플링하는 응용 프로그램이 있으며 그래프로 표시해야합니다.

231 c#  datetime  precision  milliseconds 

부동 소수점 숫자로 저장할 때 일부 숫자의 정확도가 떨어지는 이유는 무엇입니까? 예를 들어, 십진수 9.2는 두 개의 십진 정수 ( 92/10) 의 비율로 정확하게 표현 될 수 있으며 , 둘 모두 이진 ( 0b1011100/0b1010)으로 정확하게 표현 될 수 있습니다 . 그러나 부동 소수점 숫자로 저장된 동일한 비율은 정확히 다음과 같습니다 …

198 floating-point  language-agnostic  precision 

의 합을 얻으려고 1 + 2 + ... + 1000000000하지만 PHP와 Node.js 에서 재미있는 결과를 얻습니다 . PHP $sum = 0; for($i = 0; $i <= 1000000000 ; $i++) { $sum += $i; } printf("%s", number_format($sum, 0, "", "")); // 500000000067108992 Node.js var sum = 0; for (i = 0; …

192 php  node.js  precision  integer-overflow  integer-arithmetic 

최근에 이중 텍스트를 직렬화 한 다음 다시 가져와야했습니다. 값이 같지 않은 것 같습니다. double d1 = 0.84551240822557006; string s = d1.ToString("R"); double d2 = double.Parse(s); bool s1 = d1 == d2; // -> s1 is False 그러나 MSDN : Standard Numeric Format Strings 에 따르면 "R"옵션은 왕복 안전을 보장해야합니다. 라운드 …

185 c#  double  tostring  precision 

단 정밀도 부동 소수점 연산과 배정 밀도 부동 연산의 차이점은 무엇입니까? 비디오 게임 콘솔과 관련하여 실용적인 용어에 특히 관심이 있습니다. 예를 들어, Nintendo 64는 64 비트 프로세서를 가지고 있으며 그렇다면 그렇다면 배정도 부동 소수점 연산이 가능 했습니까? PS3와 Xbox 360은 배정도 부동 소수점 연산을 할 수 있거나 단 정도만 사용할 …

169 floating-point  precision  processor  operations 

아니요, 이것은 또 다른 "왜 (1 / 3.0) * 3! = 1" 질문 이 아닙니다 . 최근에 부동 소수점에 대해 많이 읽었습니다. 특히, 동일한 계산이 다른 아키텍처 또는 최적화 설정에서 다른 결과 를 제공 할 수있는 방법 . 재생을 저장하거나 P2P 네트워크로 연결된 비디오 게임 (서버-클라이언트와 달리)의 문제로, 모든 클라이언트가 …

155 c#  .net  floating-point  precision  ieee-754 

나는 0.1십진수가 유한 이진수 ( 설명 )로 정확하게 표현 될 수 없다는 것을 알고 있으므로 double n = 0.1약간의 정밀도를 잃고 정확하게되지 않습니다 0.1. 반면에는 0.5이므로 정확하게 표현할 수 있습니다 0.5 = 1/2 = 0.1b. 0.1 세 번 추가 하면 정확히 0.3다음 코드가 인쇄 되지는 않는다고 이해할 수 있습니다 false. …

152 java  floating-point  double  precision 

public class doublePrecision { public static void main(String[] args) { double total = 0; total += 5.6; total += 5.8; System.out.println(total); } } 위 코드는 다음과 같이 인쇄됩니다. 11.399999999999 11.4를 인쇄 (또는 그대로)하려면 어떻게해야합니까?

149 java  floating-point  double  precision 

double이 주어지면 PHP의 round () 함수와 유사하게 소수점 뒤의 주어진 정밀도 점수로 반올림하고 싶습니다 . Dart 문서에서 찾을 수있는 가장 가까운 것은 double.toStringAsPrecision ()이지만 , 전체 정밀도 포인트에서 소수점 앞 의 숫자 를 포함하기 때문에 필요한 것은 아닙니다 . 예를 들어 toStringAsPrecision (3) 사용 : 0.123456789 rounds to 0.123 9.123456789 …

125 dart  precision  double-precision 

나는 JavaScript를 처음 사용하고 방금 발견했습니다. toFixed() 하고 toPrecision()숫자를 반올림했습니다. 그러나 나는 둘의 차이점이 무엇인지 알 수 없습니다. number.toFixed()과 의 차이점은 무엇입니까 number.toPrecision()?

124 javascript  rounding  precision