如何在短时间内列出Google存储桶中的所有文件?

2024-06-18

我有一个 Google 存储桶,其中包含超过 20k 个文件名。有没有办法在短时间内列出bucket中的所有文件名?


这取决于你所说的“短”是什么意思,但是:

为了加快列出存储桶的速度,您可以做的一件事是对列出操作进行分片。例如,如果您的存储桶包含以英文字母字符开头的对象,您可以并行列出每个字母并合并结果。您可以在 bash 中使用 gsutil 执行此操作,如下所示:

gsutil ls gs://your-bucket/a* > a.out &
gsutil ls gs://your-bucket/b* > b.out &
...
gsutil ls gs://your-bucket/b* > z.out &
wait
cat ?.out > listing.out

如果您的存储桶具有不同命名的对象,您必须调整分片的方式。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何在短时间内列出Google存储桶中的所有文件? 的相关文章

随机推荐