ArcMap中Double字段存储精度的问题
2016-10-12 09:37
344 查看
环境
Win7 旗舰版ArcGIS 10.1
测试过程
这里插入一段,我询问了Esri的技术人员,一个ArcMap已知的bug:
无论是设置多少位的小数保留位,最多显示9位,尽管在字段属性中上限可以设置到15位,而这9位也是经过四舍五入显示的,所以这个值只是给你看看的,看到的并不是真实的值~
而如果你的小数位超过了15位,像上面那样,会自动的在15位进行四舍五入
如果你认为只是这么简单就错了,这种情况只是在小数位的首位和整数位非0的情况下才成立,看下面的例子
这里并没有进行四舍五入而是进行了科学计数法,完全没有丢失16位小数的精度!
之后我又测试了整数位,一共得有效位超过15位之后都会进行四舍五入~
小结:
1.小数位的显示确实只能显示9位,因为在显示科学计数法的时候(大于15位的整数),也是一共只显示9位小数数字;
2.超过了15位有效数字之后,ArcMap自动使用科学计数法进行四舍五入,这里的15位有效数字指的是进行了科学计数法之后的15位有效数字,像
0.0123456789012345尽管有16位小数,但是进行了科学计数法之后是
1.23456789012345E-02实际上仍然是15位有效数字!
相关文章推荐
- VBA: 小数存储精度问题single vs. double
- mysql sum 统计字段数值类型是double出现精度失真问题
- 关于float和double的精度问题
- 关于double精度问题
- 剖析float型的内存存储和精度丢失问题
- double值格式化输出的精度问题解决
- 折腾Oracle问题小菜记[分页存储过程/查询所有表、视图、存储过程/查询表、视图、存储过程字段结构与参数](三)
- SUM()求和时的精度问题,跟数据表字段定义有关
- 解决double和float精度不准的问题
- double 计算精度的问题
- 关于存储过程中有写字段报列名无效的问题!
- float,double等精度丢失问题
- double,float精度问题
- 单精度类型(float)和双精度类型(double)存储
- 单精度类型(float)和双精度类型(double)存储
- double类型精度问题
- 关于SqlServer2000 Image字段存储时应注意的问题
- 单精度类型(float)和双精度类型(double)存储
- 偶尔看到有关float/double计算精度的问题,做个backup
- oracle中number型字段长度、精度及实际存储状态测试