谨慎使用单精度/双精度数值类型

2023-05-16

前言

  在近日几个帖子里面,和QQ群的讨论里面,我发现很多网友都遇到的问题都是因为不恰当地使用了单精度/双精度数值。因此想专门就这个话题谈一下。

  单精度和双精度数值类型最早出现在C语言中(比较通用的语言里面),在C语言中单精度类型称为浮点类型(Float),顾名思义是通过浮动小数点来实现数据的存储。这两个数据类型最早是为了科学计算而产生的,他能够给科学计算提供足够高的精度来存储对于精度要求比较高的数值。但是与此同时,他也完全符合科学计算中对于数值的观念:

  当我们比较两个棍子的长度的时候,一种方法是并排放着比较一下,一种方法是分别量出长度。但是事实上世界上并不存在两根完全一样长的棍子,我们测量的长度精度受到人类目测能力和测量工具精度的限制。从这个意义上来说,判断两根棍子是否一样长丝毫没有意义,因为结果一定是False,但是我们可以比较他们两个哪个更长或者更短。这个例子很好地概括了单精度/双精度数值类型的设计初衷和存在意义。

  基于上述认识,单精度/双精度数值类型从一开始设计的时候,就不是一个准确的数值类型,他只保证在他这个数值类型的精度之内是准确的,精度之外则不保证,比方说,一个数值5.1,很可能存储在单精度/双精度数值中的实际值是5.100000000001或者5.09999999999999。导致这个现象的原因我们可以通过两种方式来解释:

简单的解释方法:

  你可以尝试在任何一个控件的属性面板中,设定他的宽度为:3.2CM,当你输入完毕后,你会发现值自动变成了3.199cm,无论你怎么改,你都无法输入3.200CM,因为实际上在电脑中存储的并不是CM为单位的数值,而是“缇”为单位的数值,而“缇”和CM之间的比值,是个很难被除尽的数,因此你输入完毕后,电脑自动转换成了最接近的“缇”值,然后再转换成厘米显示到属性面板上,这一乘一除,两次四舍五入,误差就出来了。单精度/双精度也是类似的原理,其实在二进制存储的时候,单精度/双精度都采用了类似相近分数的方法,而这样的存储是不可能做到准确的。

深入的解释方法:

  让我们来看看我们存储到数字介质中的单精度/双精度值到底是怎么样的,我们使用如下代码对单精度类型进行一个解剖:

Public Declare Sub CopyMemory Lib "kernel32" Alias "RtlMoveMemory" (Destination As Any, Source As Any, ByVal Length As Long)


Public Sub floatTest()
Dim dblVar As Single

dblVar = 5.731 / 8
dblOutput dblVar

dblVar = dblVar * 2
dblOutput dblVar

dblVar = dblVar * 2
dblOutput dblVar

dblVar = dblVar * 2
dblOutput dblVar

dblVar = dblVar * 2
dblOutput dblVar

dblVar = dblVar * 2
dblOutput dblVar

End Sub

Public Sub dblOutput(ByVal dblVar As Single)
    Dim bytVar(3) As Byte
    Dim i As Integer, j As Integer
    Dim strVar As String

    CopyMemory ByVal VarPtr(bytVar(0)), ByVal VarPtr(dblVar), 4
    strVar = dblVar & ": "
    For i = 3 To 0 Step -1
        For j = 7 To 0 Step -1
            strVar = strVar & (bytVar(i) And 2 ^ j) / 2 ^ j
        Next j
        strVar = strVar & " "
    Next i
    Debug.Print strVar

End Sub

  运行后我们得到输出结果(输出格式为高位左,低位右):

.716375: 0 0111111 0 0110111 01100100 01011010
1.43275: 0 0111111 1 0110111 01100100 01011010
2.8655: 0 1000000 0 0110111 01100100 01011010
5.731: 0 1000000 1 0110111 01100100 01011010
11.462: 0 1000001 0 0110111 01100100 01011010
22.924: 0 1000001 1 0110111 01100100 01011010

  这里,我们把单精度类型转化成了二进制数据输出,这里我们看到,虽然这六个数字完全不同,但是他们的二进制存储惊人地相似,我们看到红色标记部分,每次都是加1,事实上,单精度数据类型使用从高位开始第1位作为正负标记位(绿色),第2位到第9位,是一个跨字节的有符号字节类型数据,这个数值决定了小数点移动的方向和位数(红色),第10位到32位保存一个整数(蓝色)在存储过程中,电脑首先把输入的值不断移位(乘除2)直到这个数的整数部分占用了全部24位的整数位,然后把移动的位数写入浮点部分(红色),而移位后的结果写入整数部分(蓝色和绿色),小数部分则舍弃。求值的时候则是反向过程,先根据正负位和整数位求值,然后根据红色部分的整数来进行移位(乘除2的次方),最终才是我们得到的单精度数值。双精度数值也是同样原理,只是位数更多而已。

  通过解剖单精度数值的二进制存储格式,我们可以清楚看到,实际上单精度/双精度的存储,都要通过乘法和除法,其中必有舍入,如果恰好你的数值在除法中被舍入了,那么你赋的初值就很可能与你最终存储的值不完全相同,其中的微小差异,并不与单精度/双精度的设计目标相违背。

  当我们在数据库中或者VBA代码中使用一个单精度/双精度数值的时候,也许你从界面上看不到区别,但是在实际的存储中,这个差别却真真切切地就在那里,当你对其进行相等比较的时候,系统只是简单地作二进制的比较,界面上无法体现的微小差异,在二进制比较面前却无处遁形,于是,你的等于比较返回了一个意料之外的False。

结束语

  通过本文,我们介绍了单精度/双精度数据类型的实质以及其特点(优点和缺点),通过比较和解剖我们了解到单精度/双精度实际上存储的是一个近似值,浮点的特性决定了他可以存储非常小的数,也可以存储极大的数,他的数据精度并不是一个绝对值,而是存储值的百分比,如果你存储10的100次方,误差就可能是10的80次方,如果你存储10的-100次方,误差就可能是10的-120次方。因此单精度/双精度数据类型不能进行相等的比较(或数据库关联)。

  如果你需要进行等值比较或关联,那么有以下几种方案:

1、使用专为准确度而设计的货币类型。
2、使用整数类型存储,代码中移位。
3、某些特定情况下可以用文字存储。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

谨慎使用单精度/双精度数值类型 的相关文章

随机推荐

  • 苹果开发者账号续费不成功?提示你的支付授权失败?看这里...

    苹果开发者账号续费失败 xff0c 提示 xff1a 你的支付授权失败 请核对你的信息并重试 或尝试其他支付方式 请联系你的银行了 公司开发者账号即将到期 xff0c 一年一度续费的重任又落到我肩膀上了 xff0c 那么我们就进入正题吧 一
  • WPF 开发 —— 几何图形(PathGeometry)

    参考资料 xff1a WPF 2D绘图 3 PathGeometry WPF 2D绘图 2 Geometry WPF 2D绘图 1 Shape WPF Geometry Transformation Tool
  • C++ 求三个数的乘积

    编程实现输入任意三个整数a b c xff0c 将这三个数的乘积输出 xff1b Input 三个整数 xff0c 每个数字空格隔开 分别表示a b c三个变量的值 xff08 1 lt a lt 100 1 lt b lt 1000 1
  • 中文Cookie导致Session丢失的问题

    在网络上 xff0c 已经有无数的文章讨论Session丢失问题 xff0c 其中的原因有非常多的种类 xff0c 在此不再赘述 下面我们描述一种特殊的Session丢失现象 xff1a 1 在绝大多数客户端上 xff0c Session都
  • Access.Image Decoder

    版本 xff1a V0 41 系统要求 xff1a Access 2000及以上版本 软件介绍 xff1a Access中的Image控件将所有图形数据保存在PictureData属性数组中 xff0c 通过修改PictureData xf
  • 直接粘贴剪贴版的位图数据到Image控件

    调用范例 xff1a Private Sub Command1 Click PasteToImage Me Image0 End Sub 模块段代码 xff1a Option Compare Database Option Explicit
  • Access.Image BMP图像高速切割函数

    本函数可以在你自己的程序中调用 xff0c 从已有BMP中切割任意一个矩形块 使用本函数 xff0c 即使你对BMP格式一窍不通 xff0c 也可以在自己的程序中自由地切割BMP xff08 比方说拼图游戏程序 xff09 附件包含 xff
  • 优化Microsoft Access提高速度

    压缩 压缩 要保证经常性的压缩你的程序代码 当你在开发和使用Microsoft Access数据库时 xff0c 你要经常性地增加和删除数据 代码等等 现在的问题是Microsoft Access并不能有效地释放已分配的但被删除的对象空间
  • LINUX Shell 下求两个文件交集和差集的办法

    假设两个文件FILE1和FILE2用集合A和B表示 xff0c FILE1内容如下 xff1a a b c e d a FILE2内容如下 xff1a c d a c 基本上有两个方法 xff0c 一个是comm命令 xff0c 一个是gr
  • 安装ensp 图文详解(超详细)

    文章目录 ensp的详细安装步骤 xff1a 分享安装包 xff08 在下载ensp之前需要安装好该三个应用 xff09 Virtualbox下载地址 xff1a https www virtualbox org wireshark下载 h
  • Microsoft Access秘密、技巧和陷阱

    摘要 这篇文章概括了当使用Microsoft Access 时 xff0c 通过使用Access Basic可以增加应用程序的执行速度 xff0c 减少编码量 xff0c 同时也减少在为Microsoft Windows应用程序接口编程时
  • 浅析Windows编程的剪贴板机制

    摘要 xff1a 本文对Windows剪贴板机制作了深入 全面的阐述 xff0c 具体内容包括 xff1a 文本 位图 DSP 自定义格式剪贴板的使用和多数据项和延迟提交技术 关键词 xff1a VC 43 43 6 0 xff1b 剪贴板
  • Matthew Curland的VB函数指针调用

    Matthew Curland简介 xff1a Visual Studio开发小组成员 xff0c 参与开发了VB的IntelliSense和Object Browser 他是VB资深专家 xff0c 对VB有非常深入的研究 xff0c 堪
  • Access中神秘的Criteria(上)

    看到这个标题 xff0c 很多读者可能会迷惑 xff0c 什么是Criteria xff1f 我用了这么久Access xff0c 怎么从来没听说国 我猜想很多读者都是怀着好奇的心情点击的这个主题 但是也许你不知道 xff0c Access
  • Access多条件格式研究笔记(上)

    之前见过论坛好几个帖子讨论过超过三个的条件格式 xff0c 当时因为没有用过条件格式 xff08 通常遇到类似需求我就直接用VBA写代码了 xff09 xff0c 所以也无法加入讨论 xff0c 但是开始留意条件这个这个功能 适逢周末有点空
  • Access 窗体控件事件集线器(EventsHub)V 1.1

    模块名称 xff1a EventsHub 模块版本 xff1a V 1 1 模块介绍 xff1a 很多时候我们在窗体中会有很多类似的控件 xff08 比方说40多个TextBox xff09 xff0c 对于这些类似的控件我们需要编制类似的
  • 窗体类中慎用Option Explicit

    今天遇到一个怪病 xff0c 困扰了我几个小时 xff0c 我有一段程序读取窗体上的切换按钮状态 xff0c 在一个新文件中运行得很好 xff0c 但是同样一个按钮 xff0c 同样代码 xff0c 贴到另外一个窗体 xff0c 却怎么也无
  • 窗体控件绑定数据库字段后的Value类型

    下面三张图展示了各种数据类型的字段绑定到窗体控件后的控件值类型 需要注意的是 xff0c 窗体类中是否使用Option Explicit xff0c 对于空值类型影响很大 xff0c 具体请看本人的另一篇文章 窗体类中慎用Option Ex
  • Dim 的陷阱

    代码一 xff1a Dim x 100 y 100 As Byte Call ReadBytes x Public Sub ReadBytes ByRef z As Byte 39 Do Nothing End Sub 对以上代码进行编译
  • 谨慎使用单精度/双精度数值类型

    前言 在近日几个帖子里面 xff0c 和QQ群的讨论里面 xff0c 我发现很多网友都遇到的问题都是因为不恰当地使用了单精度 双精度数值 因此想专门就这个话题谈一下 单精度和双精度数值类型最早出现在C语言中 xff08 比较通用的语言里面