论:为什么浮点数的运算会有误差
2017-03-28 11:24
260 查看
浮点数的误差的产生一般由于两个原因 1)由于计算机内部以二进制保存,所以十进制的有限位的小数,在计算机内部会是一个无限位的小数。 例如 十进制的0.9虽然只有一位小数,转成2进制是无限循环小数0.1110011001100110011... 2)计算机保存浮点数的精度有限,例如float可以保留十进制最多7位(二进制23位)有效数字,double 可以保留十进制15~16位(二进制52位)有效数字。那有效数字以后的就被忽略了。 例如上面的0.9的表示受精度所限,精度以后的就被忽略了,这样 float时,它是0.89999998 double时,它是0.90000000000000002
相关文章推荐
- 关于浮点数的运算误差问题
- 浮点运算结果为什么会出现误差
- 计算机浮点数运算误差与解决误差的算法
- C语言计算浮点数的小数位数,屏蔽掉了浮点运算的误差
- 为什么浮点数一定是有误差的
- 浮点运算结果为什么会出现误差
- 编程中小数为什么 称为浮点数?
- 为什么计算机中使用补码来表示与运算
- Double运算误差
- 浮点数的表示和基本运算 【转载】
- 计算机处理浮点数时的误差处理技巧
- 工具类提供精确的浮点数运算
- <转>JAVA精确的浮点数运算
- [Python标准库]decimal——定点数和浮点数的数学运算
- Java浮点数为什么精度会丢失
- 针对AS3浮点数误差的修改
- 浮点运算误差
- toHexString(b[n] & 0XFF)为什么要和0XFF做与运算
- C语言中浮点数的表示方法---浮点数表示引起的误差---IEEE 754关于浮点数的规定
- java中浮点数的运算