为什么 os.scandir() 和 os.listdir() 一样慢？

我尝试在 Windows 上使用 os.scandir() 而不是 os.listdir() 来优化用 Python 编写的文件浏览功能。然而时间没有变化，大概是2分半钟左右，我也说不上来为什么。 以下是原始和更改后的功能：

os.listdir() 版本：

def browse(self, path, tree):
    # for each entry in the path
    for entry in os.listdir(path):
        entity_path = os.path.join(path, entry)
        # check if support by git or not
        if self.git_ignore(entity_path) is False:
            # if is a dir create a new level in the tree
            if os.path.isdir( entity_path ):
                tree[entry] = Folder(entry)
                self.browse(entity_path, tree[entry])
            # if is a file add it to the tree
            if os.path.isfile(entity_path):
                tree[entry] = File(entity_path)

os.scandir() 版本：

def browse(self, path, tree):
    # for each entry in the path
    for dirEntry in os.scandir(path):
        entry_path = dirEntry.name
        entity_path = dirEntry.path
        # check if support by git or not
        if self.git_ignore(entity_path) is False:
            # if is a dir create a new level in the tree
            if dirEntry.is_dir(follow_symlinks=True):
                tree[entry_path] = Folder(entity_path)
                self.browse(entity_path, tree[entry_path])
            # if is a file add it to the tree
            if dirEntry.is_file(follow_symlinks=True):
                tree[entry_path] = File(entity_path)

此外，以下是该函数中使用的辅助函数：

def git_ignore(self, filepath):
    if '.git' in filepath:
        return True
    if '.ci' in filepath:
        return True
    if '.delivery' in filepath:
        return True
    child = subprocess.Popen(['git', 'check-ignore', str(filepath)],
                         stdout=subprocess.PIPE,
                         stderr=subprocess.PIPE)
    output = child.communicate()[0]
    status = child.wait()
    return status == 0

============================================================

class Folder(dict):
    def __init__(self, path):
        self.path = path
        self.categories = {}

============================================================

class File(object):
    def __init__(self, path):
        self.path = path
        self.filename, self.extension = os.path.splitext(self.path)

有人有办法让我的函数运行得更快吗？我的假设是，在开始时提取名称和路径会使其运行速度比应有的速度慢，这是正确的吗？

关于你的问题：

os.walk 似乎调用 stats 的次数超过了必要的次数。这似乎就是它比 os.scandir() 慢的原因。

在这种情况下，我认为提高速度性能的最佳方法是 使用并行处理，这可以在某些循环中极大地提高速度。 有多个帖子讨论过这个问题。这里有一个：Python 中的并行处理 – 带有示例的实用指南.

尽管如此，我还是想分享一些对此的想法。

我也一直想知道有哪些最佳用法这三个选项（scandir、listdir、walk）。关于性能比较的文档并不多。最好的方法可能是像您一样自己测试一下。这是我对此的结论：

os.listdir() 的用法:

与 os.scandir() 相比，它似乎没有优势，只是更容易理解。当我只需要列出目录中的文件时，我仍然使用它。

PROS:

• 快速简单

CONS:

• 太简单了，仅适用于列出目录中的文件和目录，因此您可能需要将其与其他方法结合起来以获得有关文件元数据的额外功能。如果是这样，最好使用 os.scandir()。

os.walk() 的用法:

当我们需要获取目录（和子目录）中的所有项目时，这是最常用的函数。

PROS:

• 这可能是遍历所有项目路径和名称的最简单方法。

CONS:

• 似乎调用统计数据的次数超过了必要的次数。这似乎就是它比 os.scandir() 慢的原因。
• 虽然它为您提供了文件的根部分，但它不提供 os.scandir() 的额外元信息。

os.scandir() 的用法:

它似乎（几乎）两全其美。它给你简单的速度操作系统列表目录具有额外的功能，可以让您 简化循环，因为您可以避免使用 exiftool 或其他元数据工具 当您需要有关文件的额外信息时。

PROS:

• 快速地。与 os.listdir() 速度相同
• 非常好的附加功能。

CONS:

• 如果您想深入子文件，您需要创建另一个函数来扫描每个子目录。这个函数非常简单，但在这种情况下使用 os.walk 可能会更Pythonic（我只是指更优雅的语法）。

这就是我阅读并使用它们后的观点。我很高兴得到纠正，这样我就可以了解更多信息。