如何对 LARGE 字典进行排序

我有一个 python 脚本，正在处理一个大（~14gb）文本文件。我最终得到了一个键和值的字典，但是当我尝试按值对字典进行排序时出现内存错误。

我知道字典太大，无法加载到内存中然后进行排序，但我该如何实现这一点呢？

您可以使用有序键/值存储，例如wiredtiger、leveldb、bsddb。它们都支持使用自定义排序功能的有序键。 leveldb 是最容易使用的，但如果你使用 python 2.7，bsddb包含在 stdlib 中 https://docs.python.org/2/library/bsddb.html。如果您只需要字典顺序排序，您可以使用原始hashopen打开持久排序字典的函数：

from bsddb import hashopen


db = hashopen('dict.db')
db['020'] = 'twenty'
db['002'] = 'two'
db['value'] = 'value'
db['key'] = 'key'

print(db.keys())

这输出

>>> ['002', '020', 'key', 'value']

不要忘记在工作后关闭数据库：

db.close()

请注意 hashopen 配置可能不适合您的需求。在这种情况下，我建议您使用leveldb，它有一个简单的API或wiredtiger以提高速度。

要在 bsddb 中按值排序，您必须使用复合键模式 or 关键组成。归根结底是创建一个字典键来保留您要查找的顺序。在此示例中，我们首先将原始 dict 值（以便首先出现小值）与原始 dict 键打包（以便 bsddb 键是唯一的）：

import struct
from bsddb import hashopen

my_dict = {'a': 500, 'abc': 100, 'foobar': 1}

# insert
db = hashopen('dict.db')
for key, value in my_dict.iteritems():
    composite_key = struct.pack('>Q', value) + key
    db[composite_key] = ''  # value is not useful in this case but required
db.close()


# read
db = hashopen('dict.db')
for key, _ in db.iteritems():  # iterate over database
    size = struct.calcsize('>Q')
    # unpack
    value, key = key[:size], key[size:]
    value = struct.unpack('>Q', value)[0]
    print key, value
db.close()

这会输出以下内容：

foobar 1
abc 100
a 500