检查字符串是否在 python 中的 2 GB 字符串列表中

我有一个大文件（A.txt) 2 GB 包含字符串列表['Question','Q1','Q2','Q3','Ans1','Format','links',...].

现在我有另一个更大的文件（1TB），其中第二个位置包含上述字符串：

Output:

a, Question, b
The, quiz, is
This, Q1, Answer
Here, Ans1, is
King1, links, King2
programming,language,drupal,
.....

我想保留第二个位置包含文件中存储的列表中的字符串的行A.txt。也就是说，我想保留（存储在另一个文件中）下面提到的行：

a, Question, b
This, Q1, Answer
Here, Ans1, is
King1, links, King2

我知道当文件（A.txt）中的列表长度为 100 时如何执行此操作..使用“any”。但当文件 (A.txt) 中的列表长度为 2 GB 时，我不知道应该如何处理。

不要使用列表；使用一组代替。

将第一个文件读入集合中：

with open('A.txt') as file_a:
    words = {line.strip() for line in file_a}

0.5 GB 的单词不是that一套可以储存很多东西。

现在你可以测试words在 O(1) 常数时间内：

if second_word in words:
    # ....

打开第二个文件并逐行处理它，也许使用csv如果行中的单词以逗号分隔，则为模块。

对于较大的单词集，请改用数据库； Python 附带了sqlite3图书馆：

import sqlite3

conn = sqlite3.connect(':memory:')
conn.execute('CREATE TABLE words (word UNIQUE)')

with open('A.txt') as file_a, conn:
    cursor = conn.cursor()
    for line in file_a:
        cursor.execute('INSERT OR IGNORE INTO words VALUES (?)', (line.strip(),))

然后进行测试：

cursor = conn.cursor()
for line in second_file:
    second_word = hand_waving
    cursor.execute('SELECT 1 from words where word=?', (second_word,))
    if cursor.fetchone():
         # ....

即使我使用:memory:在这里，当你开始填满内存时，SQLite 足够聪明，可以将数据存储在临时文件中。这:memory:连接基本上只是一个临时的、一次性的数据库。如果您想重新使用单词数据库，您也可以使用真实的文件路径。