Shell 脚本中的并行处理或线程化

2023-11-25

我正在 shell 中编写一个脚本,其中运行一个命令,需要 2 分钟。每次。而且,我们对此无能为力。但如果我想在脚本中运行此命令 100 次,那么总时间将为 200 分钟。这将产生一个大问题。没有人愿意等200分钟。我想要的是并行运行所有 100 个命令,以便输出将在 2 分钟内出现,或者可能需要更多时间,但不要花费 200 分钟。

如果有人能以任何方式帮助我,我将不胜感激。


GNU 并行就是你想要的,除非你想重新发明轮子。这里有一些更详细的examples,但不足之处是:

ls | parallel gzip # gzip all files in a directory
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Shell 脚本中的并行处理或线程化 的相关文章

  • 如何在 Bash 中给定超时后终止子进程?

    我有一个 bash 脚本 它启动一个子进程 该进程时不时地崩溃 实际上是挂起 而且没有明显的原因 闭源 所以我对此无能为力 因此 我希望能够在给定的时间内启动此进程 如果在给定的时间内没有成功返回 则将其终止 有没有simple and r
  • php exec 返回的结果比直接进入命令行要少

    我有一个 exec 命令 它的行为与通过 Penguinet 给 linux 的相同命令不同 res exec cd mnt mydirectory zcat log file gz echo res 当将命令直接放入命令行时 我在日志文件
  • 我如何知道 C 程序的可执行文件是在前台还是后台运行?

    在我的 C 程序中 我想知道我的可执行文件是否像这样在前台运行 a out 或者像这样 a out 如果你是前台工作 getpgrp tcgetpgrp STDOUT FILENO or STDIN FILENO or STDERR FIL
  • 在 unix 中编译 dhrystone 时出错

    我是使用基准测试和 makefile 的新手 我已经从下面的链接下载了 Dhrystone 基准测试 我正在尝试编译它 但我遇到了奇怪的错误 我尝试解决它 但没有成功 有人可以帮助我运行 dhrystone 基准测试吗 以下是我尝试编译的两
  • 在 C# 中读取/写入命令行程序

    我正在尝试与 C 的命令行程序进行对话 它是一个情绪分析器 它的工作原理如下 CMD gt java jar analyser jar gt Starting analyser 这是我想从我的 C 程序插入内容的地方 例如 I love y
  • 如何使用 sed 将空格替换为 \(space)?

    当我使用 sed 将所有空格替换为 X 时 该命令有效 命令为 sed s X g filelist tmp 但是 当我尝试用 space 替换所有出现的空格时 代码是 sed s g filelist tmp 这不起作用 我究竟做错了什么
  • shell中如何从数组中随机选择一个项目

    我正在 Shell 脚本中创建一个机器人 Array with expressions expressions Ploink Poink I Need Oil Some Bytes are Missing Poink Poink Piiii
  • Shell 脚本中的块注释

    有没有一种简单的方法可以注释掉 shell 脚本中的代码块 In bash bin bash echo before comment lt lt END bla bla blurfl END echo after comment The a
  • Python 如何找到 sys.prefix(或 sys.base_prefix)的值?

    锡上写着什么 我已经解开了如何解开的谜团sys prefix使用虚拟环境时设置 Python 寻找pyvenv cfg file 1 https www python org dev peps pep 0405 specification
  • 调用 cat 时 shell 脚本挂起

    我有一个 shell 脚本 它通过电子邮件向我发送通过 crontasks 遇到的错误 如下所示 exec gt output cat shopt s nocasematch if output error output warning t
  • 直接向pbs脚本传递参数

    有没有办法在提交作业之前直接将参数传递给 pbs 脚本 我需要循环遍历由不同数字表示的文件列表 并应用脚本来分析每个文件 我能想到的最好的办法如下 bin sh for i 1 i lt 10 i do export FILENUM i q
  • .zip 压缩内部是否维护校验和?

    zip 存档内部是否维护其中文件的校验和 如果它维护校验和 我如何确定校验和在解压过程中得到验证 是否可以在不解压的情况下验证校验和 是的 zip 保存存档中每个文件的 CRC 32 校验和 并且应该在解压缩过程中对其进行验证
  • shell中如何求数组的长度?

    shell中如何求数组的长度 例如 arr 1 2 3 4 5 我想得到它的长度 在本例中是 5 a 1 2 3 4 echo a 4
  • 带有存储在文件中的通配符的 grep

    我希望 grep 通过读取需要从文本文件中过滤掉的内容来过滤掉行 这是我给 grep 的内容 它存储在foo txt Users 1337 X Users 1337 R Users 1337 W 这是它应该过滤的内容 它存储在bar txt
  • exec()、shell_exec()、curl_exec() 的安全漏洞

    有时 我会使用 exec shell exec 和curl exec 以下是典型用途 假设其中有 PHP 变量 即第一个变量中的 html 用户有可能修改其内容 从安全漏洞的角度来看 我应该关注什么 escapeshellcmd 和 esc
  • 带有二进制数据的 Bash echo 命令?

    有人可以解释一下为什么这个脚本有时只返回十六进制字符串表示形式的 15 个字节吗 for i in 1 10 do API IV openssl rand 16 API IV HEX echo n API IV od vt x1 w16 a
  • wget 并行下载文件并重命名

    我有一个包含两列的文本文件 第一列是要保存的名称 第二列是资源的 url 地址 10000899567110806314 jpg http lifestyle inquirer net files 2018 07 t0724cheekee
  • 在 Shell 中提取匹配模式后的字符串

    如何提取 Shell 脚本中匹配模式后面的任何字符串 我知道 Perl 脚本中的此功能 但不知道 Shell 脚本中的功能 以下是示例 subject 01 这是一个示例主题 可能会有所不同 我必须提取 Subject 01 后面的任何字符
  • 将变量插入 sh 脚本命令[重复]

    这个问题在这里已经有答案了 bin sh f set proj dir OutputDir for projname in lib proj1 proj2 do mv scripts projname BYTECODE proj dir s
  • 从命令行更改 konsole 选项卡标题并使其持久?

    如何更改 konsole 选项卡标题 默认情况下 它设置为 u n 所以它总是自动改变 我可以这样设置 qdbus org kde konsole KONSOLE DBUS SESSION setTitle 1 My Title 但是一旦您

随机推荐

  • d3 重置范围后保留比例/平移

    我有一个
  • 如何将组件引用传递给 onPress 回调?

    我确实使用 onPress 处理程序 渲染了以下类型的列表 我意识到 onPress 处理程序是无用的 因为我无法获取按下种族的参考 我收到 ref 未定义错误 var races Engine possibleRaces function
  • 来自不受信任的 UID 的呼叫

    当我在 Android Studio 中运行 UIAutomator 时 有时会出现崩溃 W ActivityManager Crash of app com example testsample running instrumentati
  • 替代 NSData 已弃用的 dataWithContentsOfMappedFile

    So id dataWithContentsOfMappedFile NSString 路径自 iOS 5 0 以来显然已被弃用 在我看来 我应该避免使用它 但是我应该使用什么来代替呢 我使用 mmap 来创建内存映射文件 它适用于 iOS
  • 如何以编程方式注册 JSF 托管 bean?

    我想以编程方式 从 Servlet init 内 将托管 Bean 类注册 添加到应用程序范围中 我如何使用 JSF 1 2 做到这一点 对于所有范围的托管 bean 不太可能从您的应用程序中以编程方式执行此操作 BalusC 已经指出了如
  • 在 PHP 上启用 SOAP

    我想在我的 PHP5 Centos Apache 服务器上启用 SOAP 我可以完全访问服务器 我的 php ini 文件包含以下内容 当我查看 phpinfo 时 它没有引用 SOAP 有什么建议么 谢谢 soap Enables or
  • 协议和Json Wire协议有什么区别

    Protocol 定义通过网络交换数据的方法的标准 如果浏览器想要与服务器通信 它必须创建 HTTP 请求并将该 HTTP 请求发送到服务器以传达其资源和选项请求 服务器接收请求并处理它并执行必要的操作并创建 HTTP 响应以发送到浏览器
  • 使用套接字将数据从 Node.js 发送到 Java

    我正在尝试通过套接字将数据从node js 发送到Java 我四处搜寻 但没有什么真正有用的 我习惯了 socket io 但在这种情况下它似乎不太适合这个 似乎 Node js 的所有套接字扩展并不真正适合发送消息 而是适合监听消息并应答
  • Angular 6 自定义库没有 ComponentFactoryResolver 的提供程序

    我从 NG4 gt NG6 重写库 使用 angular cli 6 这个库改变了动态角度分量 所以我使用ComponentFactoryResolver我被困住了 当我添加ComponentFactoryResolver到构造函数 con
  • OSError: [Errno 11] 资源暂时不可用。这是什么原因造成的?

    背景 我有两个 python 进程需要相互通信 通信由名为 Pipe 的类处理 我为此创建了一个单独的类 因为大多数需要通信的信息都以字典的形式出现 因此 Pipe 实现了一个非常简单的协议来执行此操作 这是管道构造函数 def init
  • Jetty:动态删除已注册的servlet

    我使用 WebAppContext 创建并启动了 jetty 服务器 我还可以使用 addServlet 方法将 servlet 添加到 WebAppContext 但我想动态删除这个servlet 我怎样才能做到这一点 WebAppCon
  • 使用 Jupyter Lab 时如何打开计算机中任意目录中的文件?

    启动 Jupyter Lab 界面后 我尝试使用以下命令打开 Python 文件File gt Open菜单 然而 无论我在 PC 中输入什么路径 都无法访问它 Jupyter Lab 对访问 PC 目录有任何限制吗 如果有任何解决方法 如
  • MVVM 的基本概念——ViewModel 应该做什么?

    为了掌握 MVVM 的概念 我已经阅读了几篇博客并查看了一些项目 据我了解 一个View是愚蠢的 它只知道如何呈现传递给它的东西 Models只是简单的数据 以及视图模型是充当两者之间的填充物的东西 它应该从Model并将其传递到View
  • Android 7 中的通话录音中听不到来电声音?

    我正在开发一个Android用于录音通话的应用程序 这是我的代码片段 recorder new MediaRecorder recorder setAudioSource MediaRecorder AudioSource DEFAULT
  • 什么是 (double (^)(int))foofoo

    有cdecl 上的示例这些都不在了 double int foofoo means 将 foofoo 转换为返回 double 的块 int 这意味着什么将 foofoo 转换为 int 的 块 符号是什么意思 正是在这种情况下的意思 通常
  • 解析每个构建类型的应用程序标签

    我想解决每个构建类型和风格的 manifestPlaceholders 依赖性 例如 我有 productFlavors dev manifestPlaceholders applicationLabel DevFlavor prod ma
  • jQuery 1.9.1 属性选择器

    背景 从 jQuery 1 9 开始 attr 方法不再返回属性值 而是我们现在必须使用 prop 不幸的是 这也适用于通过属性选择器指定的属性 即 input value See http jquery com upgrade guide
  • 每个函数或全局的 Azure Functions host.json 设置?

    host json 中的设置是单独应用于每个函数 还是应用于整个函数 例如 我在同一个项目中有两个函数 它们都从 Azure ServiceBus 队列获取消息 如果我在 host json 中将 maxConcurrentCalls 设置
  • 不使用 BigInteger 的 Karatsuba 算法

    我一直在尝试在java中实现Karatsuba算法而不使用BigInteger 我的代码仅当两个整数相同且位数相同时才适用 我没有得到正确的答案 但我得到的答案非常接近正确的答案 例如 当 12 12 时 我得到 149 我无法弄清楚我的代
  • Shell 脚本中的并行处理或线程化

    我正在 shell 中编写一个脚本 其中运行一个命令 需要 2 分钟 每次 而且 我们对此无能为力 但如果我想在脚本中运行此命令 100 次 那么总时间将为 200 分钟 这将产生一个大问题 没有人愿意等200分钟 我想要的是并行运行所有