labview的深入探索----双精度数精度问题
时间:01-09
来源:互联网
点击:
日前帮朋友看一个程序,一个WHILE循环,退出条件是等于一个双精度数,结果程序未按照预想条件退出,由此想到了双精度数的精度问题。
计算机中的双精度数都存在精度损失的问题,因此一般不宜用相等进行判断。
可以看出,0.8+(0.42-0.5)!=0而下面(0.08+0.42)-0.5 =0
上面!=0但是+1后却等于1。
双精度浮点数的确不适合用相等来判断。
计算机中的双精度数都存在精度损失的问题,因此一般不宜用相等进行判断。
可以看出,0.8+(0.42-0.5)!=0而下面(0.08+0.42)-0.5 =0
上面!=0但是+1后却等于1。
双精度浮点数的确不适合用相等来判断。
labview双精度数精度问 相关文章:
- 频宽、取样速率及奈奎斯特定理(09-14)
- 为什么要进行信号调理?(09-30)
- IEEE802.16-2004 WiMAX物理层操作和测量(09-16)
- 为任意波形发生器增加价值(10-27)
- 基于PCI 总线的高速数据采集系统(09-30)
- 泰克全新VM6000视频测试仪助力数字电视等产品测试 (10-06)