使用 pickle 将巨大的二元字典保存到文件中

我的一个朋友写了这个小程序。 这textFile大小为 1.2GB（相当于 7 年的报纸）。 他成功地创建了字典，但无法使用 pickle 将其写入文件（程序挂起）。

import sys
import string
import cPickle as pickle

biGramDict = {}

textFile = open(str(sys.argv[1]), 'r')
biGramDictFile = open(str(sys.argv[2]), 'w')


for line in textFile:
   if (line.find('<s>')!=-1):
      old = None
      for line2 in textFile:
         if (line2.find('</s>')!=-1):
            break
         else:
            line2=line2.strip()
            if line2 not in string.punctuation:
               if old != None:
                  if old not in biGramDict:
                     biGramDict[old] = {}
                  if line2 not in biGramDict[old]:
                     biGramDict[old][line2] = 0
                  biGramDict[old][line2]+=1
               old=line2

textFile.close()

print "going to pickle..."    
pickle.dump(biGramDict, biGramDictFile,2)

print "pickle done. now load it..."

biGramDictFile.close()
biGramDictFile = open(str(sys.argv[2]), 'r')

newBiGramDict = pickle.load(biGramDictFile)

提前致谢。

EDIT
对于任何感兴趣的人，我将简要解释该程序的作用。 假设您有一个格式大致如下的文件：

<s>
Hello
,
World
!
</s>
<s>
Hello
,
munde
!
</s>
<s>
World
domination
.
</s>
<s>
Total
World
domination
!
</s>

• <s>是句子分隔符。
• 每行一个字。

生成一个 biGramDictionary 供以后使用。
像这样的东西：

{
 "Hello": {"World": 1, "munde": 1}, 
 "World": {"domination": 2},
 "Total": {"World": 1},
}

希望这可以帮助。现在策略更改为使用 mysql，因为 sqlite 无法正常工作（可能是因为大小）

Pickle 仅用于编写完整（小）对象。您的字典有点大，甚至无法保存在内存中，您最好使用数据库，这样您就可以逐个存储和检索条目，而不是一次存储和检索所有条目。

您可以从 Python 使用一些良好且易于集成的单文件数据库格式：SQLite或其中之一DBM 变种。最后一个就像字典一样（即您可以读取和写入键/值对），但使用磁盘作为存储而不是 1.2 GB 内存。