是否可以在由 gnu parallel 生成的脚本的多次运行中调用 gnu parallel?
我有一个运行了 100 秒的 python 脚本顺序的迭代,并且在每次迭代中的某个位置,并行计算 4 个值(使用 gnu 并行)。现在我想再次使用 gnu 并行同时生成多个此类脚本。这可能吗? gnu Parallel 会很好地利用可用内核吗?
例如,如果在内循环中,4 个值中,2 个已完成,2 个正在运行,则单个脚本在计算完所有 4 个值之前无法继续进行下一次迭代。这两个空闲内核是否会自动用于计算不同脚本运行的结果?
如何指定可用核心总数?是在内部调用并行还是在外部调用?
This https://stackoverflow.com/questions/23411266/calling-gnu-parallel-from-gnu-parallel问题表明可以嵌套对并行的调用,但我不确定当我从脚本内部调用嵌套并行时这种情况是否会发生变化。
PS:抖动不是问题,我可以使用大型集群中的大量核心。
PS2:gnu-parallel 是一个很棒的工具...谢谢! :)
是的。 GNU Parallel 被设计(并经过严格测试)以便能够从 GNU Parallel 调用 - 直接或通过脚本调用。
如果直接打电话,您可能需要更改-I
。这里第二个 {} 是什么意思(它指的是第一个还是第二个并行?):
seq 10 | parallel 'seq {} | parallel echo {}'
这里说的非常清楚了:
seq 10 | parallel 'seq {} | parallel -I // echo //'
seq 10 | parallel 'seq {} | parallel -I // echo {} //'
PS 很高兴听到您发现 GNU Parallel 很棒。如果您喜欢 GNU 并行:
- 浏览教程
(http://www.gnu.org/software/parallel/parallel_tutorial.html http://www.gnu.org/software/parallel/parallel_tutorial.html)
- 在您当地的用户组/团队/同事处进行演示
- 在 Reddit/Diaspora*/forums/blogs/ 上发布介绍视频和教程
Identi.ca/Google+/Twitter/Facebook/Linkedin/邮件列表
- 请求或为您最喜爱的博客或杂志撰写评论
- 邀请我参加您的下一次会议
如果您使用 GNU Parallel 进行研究:
- 请在您的出版物中引用 GNU Parallel(使用 --bibtex)
如果 GNU Parallel 能为您省钱:
- (让您的公司)向 FSF 捐款https://my.fsf.org/donate/ https://my.fsf.org/donate/
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)