您的位置:首页 > 其它

ArcMap中Double字段存储精度的问题

2016-10-12 09:37 344 查看

环境

Win7 旗舰版

ArcGIS 10.1

测试过程

这里插入一段,我询问了Esri的技术人员,一个ArcMap已知的bug

无论是设置多少位的小数保留位,最多显示9位,尽管在字段属性中上限可以设置到15位,而这9位也是经过四舍五入显示的,所以这个值只是给你看看的,看到的并不是真实的值~



而如果你的小数位超过了15位,像上面那样,会自动的在15位进行四舍五入



如果你认为只是这么简单就错了,这种情况只是在小数位的首位和整数位非0的情况下才成立,看下面的例子



这里并没有进行四舍五入而是进行了科学计数法,完全没有丢失16位小数的精度!

之后我又测试了整数位,一共得有效位超过15位之后都会进行四舍五入~



小结:

1.小数位的显示确实只能显示9位,因为在显示科学计数法的时候(大于15位的整数),也是一共只显示9位小数数字



2.超过了15位有效数字之后,ArcMap自动使用科学计数法进行四舍五入,这里的15位有效数字指的是进行了科学计数法之后的15位有效数字,像
0.0123456789012345
尽管有16位小数,但是进行了科学计数法之后是
1.23456789012345E-02
实际上仍然是15位有效数字!
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: