双精度浮点不能覆盖所有64bit整数，精度到15个小数位左右

eric2013 · 发表于 2021-7-18 11:20:29

MATLAB:

比如整数9223372036854775807用双精度浮点来表示。

QQ截图20210719000318.png

eric2013 · 发表于 2021-7-18 11:31:53

下面是利用H7-TOOL的LUA小程序在H750上的硬件双精度运行效果
QQ截图20210718113308.png

glory · 发表于 2021-7-18 20:37:07

15bit只能表示1/32768精度的小数部分啊。你例子中的不是15bit，而是10进制的15位小数，bit不能这么用。

eric2013 · 发表于 2021-7-18 23:59:06

glory 发表于 2021-7-18 20:37
15bit只能表示1/32768精度的小数部分啊。你例子中的不是15bit，而是10进制的15位小数，bit不能这么用。

谢谢指出，题目有误，应该是小数数据位，已经修正。

amfy · 发表于 2021-7-19 09:51:02

浮点也不是万金油, 和整形相比只能是各有优势, 浮点处理起来更简单, 更直观, 动态范围更大, 但是存在精度和运算问题
整形更严格和准确, 就是动态范围有限, 写代码的时候小数位问题也是很恶心
写程序的时候, 数据类型的处理很痛苦, 啥时候出128位的arm, 用128位的整形变量, 大约就消停了吧.

eric2013 · 发表于 2021-7-19 10:38:38

amfy 发表于 2021-7-19 09:51
浮点也不是万金油, 和整形相比只能是各有优势, 浮点处理起来更简单, 更直观, 动态范围更大, 但是存在精度和 ...

是的，一些场合无法替代。

		自动登录	找回密码
密码			立即注册

[DSP] 双精度浮点不能覆盖所有64bit整数，精度到15个小数位左右