Gnu Parallel:嵌套并行

2024-03-15

是否可以在由 gnu parallel 生成的脚本的多次运行中调用 gnu parallel?

我有一个运行了 100 秒的 python 脚本顺序的迭代,并且在每次迭代中的某个位置,并行计算 4 个值(使用 gnu 并行)。现在我想再次使用 gnu 并行同时生成多个此类脚本。这可能吗? gnu Parallel 会很好地利用可用内核吗?

例如,如果在内循环中,4 个值中,2 个已完成,2 个正在运行,则单个脚本在计算完所有 4 个值之前无法继续进行下一次迭代。这两个空闲内核是否会自动用于计算不同脚本运行的结果? 如何指定可用核心总数?是在内部调用并行还是在外部调用?

This https://stackoverflow.com/questions/23411266/calling-gnu-parallel-from-gnu-parallel问题表明可以嵌套对并行的调用,但我不确定当我从脚本内部调用嵌套并行时这种情况是否会发生变化。

PS:抖动不是问题,我可以使用大型集群中的大量核心。

PS2:gnu-parallel 是一个很棒的工具...谢谢! :)


是的。 GNU Parallel 被设计(并经过严格测试)以便能够从 GNU Parallel 调用 - 直接或通过脚本调用。

如果直接打电话,您可能需要更改-I。这里第二个 {} 是什么意思(它指的是第一个还是第二个并行?):

seq 10 | parallel 'seq {} | parallel echo {}'

这里说的非常清楚了:

seq 10 | parallel 'seq {} | parallel -I // echo //'
seq 10 | parallel 'seq {} | parallel -I // echo {} //'

PS 很高兴听到您发现 GNU Parallel 很棒。如果您喜欢 GNU 并行:

  • 浏览教程 (http://www.gnu.org/software/parallel/parallel_tutorial.html http://www.gnu.org/software/parallel/parallel_tutorial.html)
  • 在您当地的用户组/团队/同事处进行演示
  • 在 Reddit/Diaspora*/forums/blogs/ 上发布介绍视频和教程 Identi.ca/Google+/Twitter/Facebook/Linkedin/邮件列表
  • 请求或为您最喜爱的博客或杂志撰写评论
  • 邀请我参加您的下一次会议

如果您使用 GNU Parallel 进行研究:

  • 请在您的出版物中引用 GNU Parallel(使用 --bibtex)

如果 GNU Parallel 能为您省钱:

  • (让您的公司)向 FSF 捐款https://my.fsf.org/donate/ https://my.fsf.org/donate/
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Gnu Parallel:嵌套并行 的相关文章

  • 使用 GNU Parallel 和 Split

    我正在将一个相当大的文件加载到 postgresql 数据库中 为此 我首先使用split在文件中获取较小的文件 每个 30Gb 然后我使用以下命令将每个较小的文件加载到数据库中GNU Parallel and psql copy 问题是大
  • 将 STDIN 拆分为多个文件(如果可能的话压缩它们)

    我有一个程序 gawk 将数据流输出到它的STDOUT 处理的数据实际上有 10 GB 我不想将其保留在单个文件中 而是将其分成多个块 并可能在保存之前对每个文件应用一些额外的处理 如压缩 我的数据是一系列记录 我不想拆分将记录减半 每条记
  • Jupyter笔记本,如何同时运行多个单元?

    我定义了一个运行 bash 脚本的 python 函数 假设该函数是 calc x y z 如果我在 python 中使用一些变量运行这个函数 gt gt gt calc 1 2 3 它生成一个 C 代码 使用变量来模拟某些东西 x 1 y
  • 了解 C++ 内存模型:不同运行时的不同值

    下面的代码有什么问题 我预计消费者 1 和消费者 2 会生成 10 个 但有时会看到 1 include
  • 使用 doParallel 时如何获取节点或进程 ID?

    我正在 12 节点集群上运行并行进程 并想知道是否有办法在期间获取节点 ID 或节点编号或节点名称foreach call 像这样的事情 foreach i 1 12 combine c dopar node name 这将有助于处理文件
  • python dask DataFrame,支持(可并行化)行应用吗?

    我最近发现dask http dask pydata org en latest index html旨在成为一个易于使用的 python 并行处理模块 对我来说最大的卖点是它可以与熊猫一起使用 在阅读了其手册页后 我找不到一种方法来完成这
  • 在 openMP C++ 中并行化许多嵌套 for 循环

    你好 我是 C 新手 我编写了一个可以运行的代码 但是由于许多嵌套的 for 循环 它很慢 我想通过 openmp 来加速它 任何可以指导我的人 我尝试使用 pragma omp 并行 前ip循环并在这个循环中我使用了 pragma omp
  • 是否可以使用多处理对一个 h5py 文件进行并行读取?

    我正在尝试加快从 h5py 数据集文件中读取块 将它们加载到 RAM 内存中 的过程 现在我尝试通过多处理库来做到这一点 pool mp Pool NUM PROCESSES gen pool imap loader indices 加载器
  • 使用 openmp 优化 N-queen

    我正在学习 OPENMP 并编写以下代码来解决 n 皇后问题 Full Code https github com Shafaet Codes blob master OPENMP Parallel 20N Queen 20problem
  • 如何使用 Powershell 3 增加并行进程数?

    我正在尝试并行运行 20 个进程 我如下更改了会话 但没有运气 我每个会话最多只能有 5 个并行进程 wo New PSWorkflowExecutionOption MaxSessionsPerWorkflow 50 MaxDisconn
  • 并行解析器存在哪些概念或算法?

    对于已经以分割格式给出的大量输入数据 并行化解析器似乎很容易 例如单个数据库条目的大列表 或者很容易通过快速预处理步骤进行分割 例如解析大型文本中句子的语法结构 并行解析似乎有点困难 它已经需要相当多的努力来定位给定输入中的子结构 通用编程
  • TransactionScope() 和并行查询执行

    我们尝试在事务范围内运行并行查询以提高代码的性能 我们要在数据库中进行几项彼此没有连接的更改 我们可以这样运行代码 using var tran new System Transactions TransactionScope await
  • Julia:如何让多个工作人员访问模块中的函数?

    我有以下测试模块 MyMod jl 来在 Julia 中存储一些测试函数 一些核心函数是串行编写的 其他函数并行调用核心函数 module MyMod export Dummy distribute data getfrom recombi
  • 线程与并行处理

    Microsoft NET 4 0 为其框架引入了新的 并行增强功能 我想知道使用标准 System Threading 函数与新的并行增强功能创建应用程序之间有什么区别 并行扩展和常规线程之间最重要的区别可能是控制流 一个线程 使用创建n
  • Random 并行生成数字 1 的次数超过 90% [重复]

    这个问题在这里已经有答案了 考虑以下程序 public class Program private static Random rnd new Random private static readonly int ITERATIONS 50
  • OpenMP 动态调度与引导调度

    我正在研究 OpenMP 的调度 特别是不同的类型 我了解每种类型的一般行为 但澄清一下何时进行选择会很有帮助dynamic and guided调度 英特尔的文档 https software intel com en us articl
  • 垂直和水平平行度

    最近在并行领域工作 我了解到有两个术语 垂直并行 和 水平并行 有人说openmp 共享内存并行 是垂直并行 而mpi 分布式内存并行 是水平并行 为什么这些术语这么称呼 我不明白原因 这么称呼它们只是术语吗 这些术语似乎没有被广泛使用 也
  • 使用 AppDomains 并行化非线程安全 DLL

    我有一个非托管 C DLL 我的 NET 应用程序通过 p invoke 使用它 我从这个 DLL 中需要的方法相当耗时 我想并行化方法调用 问题是它使用了一堆静态和全局变量 因此它不是线程安全的 并且无法更改 我的计划是通过从多个 App
  • 从 foreach 循环赋值

    我想并行化一个循环 例如 td lt data frame cbind c rep 1 4 2 rep 1 5 rep 1 10 2 names td lt c val id res lt rep NA NROW td for i in l
  • 我可以在 R 中并行读取 1 个大 CSV 文件吗? [复制]

    这个问题在这里已经有答案了 我有一个很大的 csv 文件 需要很长时间才能阅读 我可以使用 parallel 或相关的包在 R 中并行读取此内容吗 我尝试过使用 mclapply 但它不起作用 根据OP的评论 fread来自data tab

随机推荐

  • 使用“ref”键将“引用类型”作为参数传递给方法是否有意义? [复制]

    这个问题在这里已经有答案了 可能的重复 C 引用类型变量的 ref 有什么用 https stackoverflow com questions 961717 c what is the use of ref for reference t
  • 按顺序数字分组

    我有一些这样的数据 row id 1 1 2 36 3 37 4 38 5 50 6 51 我想查询它看起来像这样 row id group 1 1 1 2 36 2 3 37 2 4 38 2 5 50 3 6 51 3 这样我就可以按数
  • PHP 现在设置格式 YYYY-MM-DD

    我需要以这种格式将变量设置为当前日期 例如 2012 05 12 我知道这是 YYYY MM DD 吗 我试过了 date date yyyy mm dd strtotime now 但这并没有将日期保存到 mysql 因此它显示为 000
  • 如何将 OpenIdconnect 与 istio 集成?

    我想使用以下方式对最终用户进行身份验证JWT由 OpenId 连接提供者 如 keycloak 或 auth0 etc 提供istio服务网格 但我可能无法成功集成它 因为我对 JWT auth 和 istio 很陌生 有人可以提供正确的信
  • 防止“持久对象异常”

    我有一个非常基本的 JAX RS 服务 BookService下面的类 允许创建类型的实体Book 也见下文 POST有效负载 acquisitionDate 1418849700000 name Funny Title numberOfP
  • Haskell 重叠实例和类型函数

    我有以下类型类 它模拟了类似 SQL 的查询优化 class OptimizableQuery q where type Optimized q optimize q gt Optimized q instance Query q gt O
  • Asp.Net MVC:如何在网址中启用破折号?

    我想在我的网址中用破折号分隔单词 所以而不是 MyController MyAction 我想要 My Controller My Action 这可能吗 您可以像这样使用 ActionName 属性 ActionName My Actio
  • 显示日期格式[关闭]

    很难说出这里问的是什么 这个问题是含糊的 模糊的 不完整的 过于宽泛的或修辞性的 无法以目前的形式得到合理的回答 如需帮助澄清此问题以便重新打开 访问帮助中心 help reopen questions 我想显示 2 March 2011
  • 如何在python中将文件保存到特定目录?

    目前 我正在使用此代码来保存下载的文件 但它将它们放在运行它的同一文件夹中 r requests get url with open file name pdf wb as f f write r content 如何将下载的文件保存到我选
  • 如何快速找到接口方法的实现? [复制]

    这个问题在这里已经有答案了 有没有一种快速方法可以找到接口的方法 属性 等的所有实现 而不是引用 这是一些示例代码 public class SomeClass IBaseClass public Int32 GetInt return 1
  • 在多语言操作系统上使用 Hyperic SIGAR 时出现“java.library.path 中没有 sigar-x86-winnt.dll”错误

    我在用金丝桃 SIGAR http www hyperic com products sigar库作为我的安装程序中的第三方库 我的安装程序将所有第三个 lib 文件解压到 TEMP user 文件夹中 在英语操作系统上一切都很好 但是当我
  • 使用 NLTK 和德语语料库从名词获取性别

    我正在尝试 NTLK 我的问题是图书馆是否可以检测德语名词的性别 我想接收此信息以确定文本是否是性别中立的 浏览此处获取更多信息 https en wikipedia org wiki Gender neutrality in langua
  • 使用 PHPExcel 循环工作表

    我正在使用 PHPExcel 库读取 Excel 文件并对其进行处理 我想循环浏览每个工作表 我检查了文档 我所能找到的只是更改活动工作表索引或仅加载指定的工作表 如何循环浏览所有工作表 感谢您的任何帮助 这是文档的循环示例 供参考
  • C++ 隐式转换运算符

    我正在尝试在 C 中找到一个很好的继承解决方案 我有一个矩形类和一个正方形类 Square 类不能公开继承 Rectangle 因为它不能完全满足矩形的要求 例如 矩形可以单独设置其宽度和高度 这对于正方形来说当然是不可能的 所以 我的困境
  • ORA-01797: 该运算符后面必须跟有 ANY 或 ALL 错误

    当我执行查询时 select from file log f where F DCP SRCE FILENM FK in ABC DEF and F TRANS DT gt to date 08 25 2017 mm dd yyyy and
  • WPF:特定输入文本框(用于电话号码等)

    我不知道这叫什么 但我确信它有一个名字 而且它已经被做过多次了 我有一些文本框 理想情况下只允许特定输入 例如电话号码 银行帐号等内容的框 例如 电话号码输入应采用以下格式 000 000 0000 但我也希望它接受不带区号的号码 例如 0
  • 如何在 Web 服务安装期间更改默认虚拟目录名称?

    我有一个使用 VS2008 创建的 C Web 服务 我有一个部署项目 它创建用于部署的 MSI 是否有某个设置可以更改安装过程中提示用户的默认虚拟目录 我不想更改网络服务的名称来执行此操作 但这不是右键单击安装项目的简单情况吗 selec
  • AWS 您的账户尚未准备好发布消息

    我刚刚使用我的控制台帐户注册了 AWS 论坛 都好 我第一次发帖 我得到 Your account is not ready for posting messages yet 我没有广告拦截器 所以我没有找到任何其他解决方案 任何帮助表示赞
  • 具有多列 data.frames 的两个列表的条件匹配

    我有一个 data frames 列表 每个 data frames 中有多个列 每个 data frame 都有相同的结构 此外 我还有另一个包含多个 data frames 的列表 假设这是两个列表 firstlist lt list
  • Gnu Parallel:嵌套并行

    是否可以在由 gnu parallel 生成的脚本的多次运行中调用 gnu parallel 我有一个运行了 100 秒的 python 脚本顺序的迭代 并且在每次迭代中的某个位置 并行计算 4 个值 使用 gnu 并行 现在我想再次使用