유한 정밀도가 무엇인지 설명 할 수 있습니까? 기계 학습에서 유한 정밀도가 왜 문제가됩니까?
유한 정밀도가 무엇인지 설명 할 수 있습니까? 기계 학습에서 유한 정밀도가 왜 문제가됩니까?
답변:
유한 정밀도는 반올림되거나 잘린 숫자의 10 진수 표현입니다. 이것이 필요하거나 적절한 경우가 많이 있습니다. 예를 들어 1/3과 초월 숫자 과 모두 무한 소수점 표현이 있습니다. 프로그래밍 언어 C에서, 이중 값은 8 비트이며 대략 16 자리로 정확합니다. 여기를 봐.
http://www.learncpp.com/cpp-tutorial/25-floating-point-numbers/
(유한) 컴퓨터에서이 숫자 중 하나를 구체적으로 나타내려면 일종의 타협이 있어야합니다. 1/3 미만의 .333333333으로 1 / 3 ~ 9 자리를 쓸 수 있습니다.
이러한 타협은 산술 연산으로 복잡해집니다. 불안정한 알고리즘은 산술 오류가 발생하기 쉽습니다. 이것이 SVD가 PCA (공분산 행렬의 불안정성)를 계산하는 데 종종 사용되는 이유입니다.
http://www.sandia.gov/~smartin/presentations/SMartin_Stability.pdf
https://en.wikipedia.org/wiki/Numerical_stability
순진 베이 분류기에서는 곱셈이 대수의 로그로 변환되는 것을 종종 볼 수 있는데, 이는 반올림 오차가 적습니다.
https://ko.wikipedia.org/wiki/Naive_Bayes_classifier#Multinomial_naive_Bayes
하나의 간단한 예 : 딥 러닝의 소실 그라디언트 문제 . 주로 정밀 정밀도 문제는 아니지만 문제의 일부이기도합니다.