使用 Python 在大型文本文件中查找和替换特定行的最快方法

我有一个numbers.txt文件由多个 100K 行组成，每行由两个唯一的数字组成，并用: sign:

407597693:1604722326.2426915
510905857:1604722326.2696202
76792361:1604722331.120079
112854912:1604722333.4496727
470822611:1604722335.283259

我的目标是找到带有数字的行407597693在左侧，然后继续通过添加来更改右侧的数字3600到它。之后，我必须重写numbers.txt包含所有更改的文件。我必须尽快对同一个 txt 文件执行相同（只是数字不同）的操作。

我已经设法让它工作通过with open:文件操作和for对每一行进行循环，搜索所需的数字，修改该行，然后重写整个文件。然而，我注意到，不断执行这样的操作确实需要我的程序花费一些时间，大约 0.2-0.5 秒，随着时间的推移，这会增加并大大减慢一切速度。

这是我正在使用的代码：

number = 407597693

with open("numbers.txt", "r+") as library:
                file = library.read()
            if (str(number) + ":") in file:
                lines = file.splitlines()
                with open("numbers_temp.txt", "a+") as library_temp:
                    for line in lines:
                        if (str(number) + ":") in line:
                            library_temp.write(
                                "\n" + str(number) + ":" + str(time.time() + 3600)
                            )
                        else:
                            library_temp.write("\n" + line)

                    library_temp.seek(0)
                    new_file = library_temp.read()

                    with open("numbers.txt", "w+") as library_2:
                        library_2.write(new_file)

                os.remove("numbers_temp.txt")

我非常感谢任何有关如何加快此过程的意见，非常感谢！

您可以打开内存映射文件，使用正则表达式来查找所需的行，如果幸运的话，您只需更改文件中的一页。我正在使用十进制模块，这样您就不会遇到十进制到二进制浮点转换问题。通常新号码和旧号码的宽度相同，文件内容不需要移动。我正在展示一个 Linux 示例。视窗mmap.map有点不同，但应该很容易使用。

import mmap
import re
from decimal import Decimal

def increment_record(filename, findval, increment):
    with open(filename, "rb+") as fp:
        with mmap.mmap(fp.fileno(), 0) as fmap:
            search = re.search(rf"{findme}:([\d\.]+)".encode("ascii"), fmap, 
                    re.MULTILINE)
            if search:
                # found float to change. Use Decimal for base 10 precision
                newval = Decimal(search.group(1).decode("ascii")) + increment
                newval = f"{newval}".encode("ascii")
                delta = len(newval) - len(search.group(1))
                if delta:
                    # need to expand file and copy
                    fsize = fmap.size()
                    fmap.resize(fsize + delta)
                    fmap.move(search.end(1) + delta, search.end(1), 
                        fsize - search.end(1))
                # change just the number
                fmap[search.start(1):search.start(1) + len(newval)] = newval

# test parameters
filename = "test.txt"
findme = "76792361"
increment = 3600

testdata = """407597693:1604722326.2426915
510905857:1604722326.2696202
76792361:1604722331.120079
112854912:1604722333.4496727
470822611:1604722335.283259"""

open(filename, "w").write(testdata)

increment_record(filename, findme, increment)

print("changes:")
for old,new in zip(testdata.split("\n"), open(filename)):
    new = new.strip()
    if old != new:
        print((old,new))
print("done")