Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
处理 Javascript 中的浮点精度[重复]
这个问题在这里已经有答案了 我有大量数值y在 JavaScript 中 我想通过将它们四舍五入到最接近的倍数来对它们进行分组x并将结果转换为字符串 如何解决烦人的浮点精度 例如 0 2 0 4 0 6000000000000001 我尝试过
javascript
floatingpoint
double
floatingaccuracy
numericalmethods
float 和 double 精度相关的概念
为什么精度float小数点后最多 6 位 精度double小数点后最多15位 任何人都可以给一个数学解释 of it 说一下精度float or double是一些小数位数是草率的术语 float and double通常使用 IEEE 7
floatingpoint
double
precision
IEEE754
floatingaccuracy
我可以将 pandas.dataframe.isin() 与数字容差参数一起使用吗?
我事先查看了以下帖子 有没有办法将 DataFrame isin 与近似因子或容差值一起使用 或者还有其他方法可以吗 如果列中的值位于一组值列表中 则过滤数据框行 https stackoverflow com questions 1206
python
pandas
Comparison
floatingaccuracy
comparisonoperators
Google Sheet 产生无穷小数作为整数/整数的余数
我有这个工作表 我需要在其中创建一个检查器来确定一个数字 两个数字之和除以另一个值 DIVISOR 的结果 是否是整数 没有小数 运行上述检查器后 它大部分工作得很好 但似乎检测到一些项目不是整数 尽管它们是除数的精确倍数 https do
googlesheets
Sum
floatingpoint
Modulo
floatingaccuracy
Java 浮点意外圆角化
我正在使用浮点常量并将对象私有浮点变量设置为下面的浮点常量 但是当对象输出它设置的值时 它会四舍五入浮点中的最后一位数字 private final float RF FREQUENCY 956 35625f Object o new Ob
Java
floatingpoint
floatingaccuracy
具有特定数字的浮点精度
以下值给出了错误的精度 仅通过特定数字即可观察到这一点 可能是浮动表示问题 但想知道具体原因 String m 154572 49 154 572 49 Float f Float parseFloat m System out print
Java
floatingpoint
floatingaccuracy
pandas 和 numpy 的平均值不同
我有一个 MEMS IMU 我一直在其上收集数据 并使用 pandas 从中获取一些统计数据 每个周期收集 6 个 32 位浮点数 对于给定的收集运行 数据速率是固定的 数据速率在 100Hz 到 1000Hz 之间变化 收集时间长达 72
python
pandas
NumPy
floatingpoint
floatingaccuracy
python设置浮点精度的函数
我想做一个功能 def accuracy number index 例如 accuracy 2 5e 10 5 将返回 0 accuracy 49 2 将返回 0 accuracy 50 2 将返回 100 所以基本上它会四舍五入到最接近的
python
floatingpoint
Decimal
rounding
floatingaccuracy
PHP Printf 作为浮点精度
我正在尝试使用 PHPprintf功能打印出用户的存储容量 完整的公式看起来像这样 echo printf 02f size 1024 1024 GB 鉴于 size 10 1024 1024 这应该打印出来 10 00 GB 但事实并非如
php
floatingpoint
printf
floatingaccuracy
Python 中的舍入是如何工作的?
我对 Python 中舍入的工作原理有点困惑 有人能解释一下为什么Python会这样吗 Example gt gt gt round 0 05 1 this makes sense 0 1 gt gt gt round 0 15 1 thi
python
floatingpoint
rounding
precision
floatingaccuracy
如何避免单元测试中的浮点舍入错误?
我正在尝试为一些对单精度浮点数数组进行操作的简单向量数学函数编写单元测试 这些函数使用 SSE 内在函数 并且在 32 位系统上运行测试时出现误报 至少我认为 测试在 64 位上通过 当操作遍历数组时 我积累了越来越多的舍入误差 这是单元测
c
unittesting
floatingpoint
SSE
floatingaccuracy
如何正确地除微小的双精度数而没有精度误差?
我正在尝试诊断并修复一个错误 该错误归结为当 X 和 Y 很小时 X Y 会产生不稳定的结果 在这种情况下 cx和patharea都平滑增加 它们的比率在大数时是平滑的渐近线 但在 小 数时是不稳定的 显而易见的第一个想法是我们已经达到了浮
actionscript3
floatingpoint
double
Division
floatingaccuracy
/fp:fast 与 :fp:precise 我会遇到什么样的错误?
我想知道如果设置 fp fast 而不是 fp precise 会遇到什么样的错误 我在 MSV10 下工作 我对最大位数等于 8 的双精度数执行 操作 例如 1 4379294 货币汇率 你总是遇到同样的错误double计算 将结果转换为
c
floatingaccuracy
C++ 与 Python 精度
尝试查找 num num 的前 k 位数字的问题我用 C 和 Python 编写了相同的程序 C long double intpart num f digit k cin gt gt num gt gt k f digit pow 10
c
python
floatingpoint
precision
floatingaccuracy
Rust中如何处理不精确的浮点运算结果? [关闭]
Closed 这个问题需要多问focused help closed questions 目前不接受答案 Rust 中如何处理浮点运算 fn main let vector vec 1 01 f64 1 02 1 03 1 01 1 05
floatingpoint
Rust
precision
floatingaccuracy
将 IEEE 754 浮点转换为 MIL-STD-1750A 浮点
我正在尝试将 IEEE 754 32 位单精度浮点值 标准 c 浮点变量 转换为无符号长变量 格式为MIL STD 1750A http www xgc com manuals mil std 1750a 1 7 pdf 我在帖子底部包含了
c
floatingpoint
typeconversion
floatingaccuracy
将双精度常数定义为十六进制?
我希望将 1 0 以下最接近的数字作为浮点数 通过阅读维基百科的文章IEEE 754 http en wikipedia org wiki IEEE 754 1985 Double precision 64 bit我设法发现 1 0 的二进
c
floatingpoint
floatingaccuracy
IEEE754
Notation
两个不相等的浮点数相减是否可以得到0?
在下面的例子中是否可以除以 0 或无穷大 public double calculation double a double b if a b return 0 else return 2 a b 当然 在正常情况下不会 但如果a and
floatingpoint
double
floatingaccuracy
IEEE754
IEEE 754 浮点除法的可逆性
IEEE 754 浮点除法的可逆性是什么 我的意思是标准是否保证如果double y 1 0 x then x 1 0 y i e x可以一点一点精确还原吗 时的情况y is infinity or NaN都是明显的例外 是的 有 IEEE
c
floatingpoint
precision
floatingaccuracy
IEEE754
在这种情况下我应该如何舍入浮点数?
由于同一浮点数可以有多种表示形式 我的代码中遇到了问题 例如 这些数字被认为是相同的 0 0299999400 0 0300000000 我不太关心大精度 我需要计算CRC这些数字的数量 它们应该是相同的 所以我的方法是使用以下代码 pri
c
floatingpoint
floatingaccuracy
1
2
3
4
5
»