CPython 和 PyPy 小数运算性能

我想使用数百万个数据点（以小数表示）运行 100k+ 次模拟。我选择小数而不是浮点数是为了浮点精度和易于对我的逻辑进行单元测试（因为0.1 + 0.1 + 0.1对于浮点数不等于 0.3...）。

我希望通过使用 PyPy 来加快模拟速度。但在我的测试过程中我遇到 PyPy 不处理decimal.Decimal甚至_pydecimal.Decimal一点也不差——而且比 CPython 解释器（使用 C 语言）慢得多decimal.Decimal算术）。所以我复制/粘贴了我的整个代码库并替换了所有Decimals with float并且性能提升巨大：PyPy 比 CPython 快 60-x70 倍 - 但牺牲了准确性。

是否有任何解决方案可以在 PyPy 中使用小数精度并具有性能优势？我“可以”维护两个代码库：float对于批量运行 100k 次模拟，Decimal用于稍后检查有趣的结果 - 但这需要维护两个代码库的开销......

这是我在上面运行的一些简单测试Raspberry Pi 4 (Ubuntu Server 20.10, 4 x 1.5GHZ ARM Cortex-A72, 8GB RAM)用于复制：

test_decimal.py

import time
from decimal import Decimal

start = time.time()
val = Decimal('1.0')
mul = Decimal('1.000001')
for i in range(10 * 1000 * 1000):
    val *= mul
end = time.time()
print(f"decimal.Decimal: {val:.8f} in {round(end-start,4)} sec")

test_pydecimal.py

import time
from _pydecimal import Decimal

start = time.time()
val = Decimal('1.0')
mul = Decimal('1.000001')
for i in range(10 * 1000 * 1000):
    val *= mul
end = time.time()
print(f"pydecimal.Decimal: {val:.8f} in {round(end-start,4)} sec")

test_float.py

import time
from decimal import Decimal

start = time.time()
val = float('1.0')
mul = float('1.000001')
for i in range(10 * 1000 * 1000):
    val *= mul
end = time.time()
print(f"float: {val:.8f} in {round(end-start,4)} sec")

Results

Edit #1:

• 更新了示例（使用预先计算的乘法器，测量时间之外print）和结果表：PyPy 和 CPython 在小数上的总体比较保持不变。
• 模拟主要由对具有变化值的时间序列数据进行基本数学运算（加、减、乘、除）组成。

您可以使用双精度比任意精度算术（即，Decimal）并且比双精度更准确（即float）。双双精度通常比四精度稍差，但大多数平台通常不支持后者。

The 双双Python 包实现了这一点并且与 PyPy 兼容。它不支持字符串解析和格式化，但您可以使用以下两种缓慢的方法来实现：

from decimal import Decimal
from doubledouble import DoubleDouble

def ddFromStr(s):
    hi = float(s)
    lo = float(Decimal(s) - Decimal(hi))
    return DoubleDouble(hi, lo)

def ddToStr(dd):
    return str(Decimal(dd.x) + Decimal(dd.y))

以下是如何使用它：

start = time.time()
val = ddFromStr('1.0')
mul = ddFromStr('1.000001')
for i in range(10 * 1000 * 1000):
    val *= mul
end = time.time()
print(f"doubledouble.DoubleDouble: {ddToStr(val)} in {round(end-start,4)} sec")

以下是我机器上的结果：

CPython:
  float: 22026.35564471 in 0.6692 sec
  decimal.Decimal: 22026.35566283 in 1.4355 sec
  doubledouble.DoubleDouble: 22026.35566283 in 11.62 sec

PyPy:
  float: 22026.35564471 in 0.011 sec
  decimal.Decimal: 22026.35566283 in 16.3268 sec
  doubledouble.DoubleDouble: 22026.355662823 in 0.1184 sec

如你看到的，the doubledoublePyPy 上的包明显更快比DecimalCPython 上的包，而在这种情况下，两者提供同样准确（截断）的结果。