并行高效地运行多个作业

操作系统： Centos

我有一些30,000要运行的作业（或脚本）。每项工作需要 3-5 分钟。我有48 CPUs(nproc = 48)。我可以用40 CPUs to run 40 Jobs并行。请建议一些脚本或工具可以通过并行运行每 40 个作业来处理 30,000 个作业。

我做了什么：

• 我创建了 40 个不同的文件夹，并通过为每个目录创建 shell 脚本来并行执行作业。

• 我想知道下次有更好的方法来处理此类工作。

正如 Mark Setchell 所说：GNU 并行。

find scripts/ -type f | parallel

如果您坚持保留 8 个 CPU 空闲：

find scripts/ -type f | parallel -j-8

但通常简单地使用会更有效nice因为当其他人不需要它们时，这将为您提供全部 48 个核心：

find scripts/ -type f | nice -n 15 parallel

了解更多：

• 观看介绍视频以进行快速介绍：https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1
• 浏览本教程 (man parallel_tutorial)。你命令行 爱你。