我目前正在处理一些非常大的信息列表（50 到 1 亿个条目），其中列表中的每个项目都采用 [float,(string_1,string_2)] 的形式

我以未排序的方式将元素添加到列表中，并且最终希望有一个按浮点值排序的列表。例如，我会有一个如下所示的列表：

[ [0.5,(A,B)], [-0.15,(B,C)], [0.3,(A,C)], [-0.8,(A,D)] ]

然后排序得到

[ [0.5,(A,B)], [0.3,(A,C)], [-0.15,(B,C)], [-0.8,(A,D)] ]

目前，我正在使用 heapq 来添加项目，然后使用排序（堆）最终给出我需要的列表。我的问题是：是否有更好的方法可以将数百万个项目添加到列表中并对它们进行排序，并且不会使我的计算机崩溃？持有这么长的列表然后对其进行排序会导致我的 RAM 出现一些问题。

sorted()创建一个完全不同的列表，因此将庞大列表所需的 RAM 加倍。使用列表的.sort()方法 - 就地对列表进行排序。

除非有什么你没有告诉我们的事情，否则就离开heapq完全摆脱它。我认为将条目放入堆中没有任何意义。只需使用列表的.append()方法添加新条目并应用.sort(reverse=True)到最后的列表。

如果您仍然耗尽 RAM，那么您根本无法完全在内存中解决此问题，并且需要设计一种合并磁盘文件的方法。

与“太小”的内存一起生活

在最坏的情况下，即使列表本身也无法容纳在可用内存中。您仍然可以创建排序序列，但需要将排序块写入磁盘并稍后合并它们。对于合并部分，heapq is有用。这是一个例子：

import pickle
import heapq

MAXPERFILE = 100  # the array will never get bigger than this

def getfname(i):
    return "pickled%d.dat" % i

filenum = 0
def dumptofile(a):  # dump the array to file, as pickled data
    global filenum
    fname = getfname(filenum)
    with open(fname, "wb") as f:
        pickle.dump(len(a), f)
        for x in a:
            pickle.dump(x, f)
    filenum += 1

# generate some random data
import random
a = []
for _ in range(1012):  # 10 "full" files with some leftovers
    a.append(random.random())
    if len(a) == MAXPERFILE:
        a.sort(reverse=True)
        dumptofile(a)
        del a[:]
if a:
    a.sort(reverse=True)
    dumptofile(a)

print("number of files written:", filenum)

# now merge the files together; first a function
# to generate the file contents, one at a time
def feedfile(i):
    fname = getfname(i)
    with open(fname, "rb") as f:
        count = pickle.load(f)
        for _ in range(count):
            yield pickle.load(f)

for x in heapq.merge(*(feedfile(i) for i in range(filenum)),
                     reverse=True):
    print(x)

最大内存使用量可以通过减少来减小MAXPERFILE，虽然越大性能越好MAXPERFILE。确实，如果MAXPERFILE足够小并且数据总量足够大，合并代码可能会因操作系统“打开文件太多”错误而终止。