程序员经验分享-hwhale

Bash：在许多文件上并行化 md5sum 校验和

2024-03-10

假设我有一个 64 核服务器，我需要计算md5sum中所有文件的/mnt/data，并将结果存储在文本文件中：

find /mnt/data -type f -exec md5sum {} \; > md5.txt

上述命令的问题是，在任何给定时间只有一个进程运行。我想充分利用 64 核的全部功能。理想情况下，我想确保在任何给定时间，64 个并行md5进程正在运行（但不超过 64 个）。

还。我需要将所有进程的输出存储到一个文件中。

注意：我不是在寻找计算方法md5sum并行处理一个文件。我正在寻找一种方法来并行计算 64 个不同文件的 64 md5sums，只要有任何文件来自find.


Use GNU parallel http://www.gnu.org/software/parallel/。您可以找到更多关于如何实现它的示例here http://www.gnu.org/software/parallel/man.html.

find /mnt/data -type f | parallel -j 64 md5sum > md5.txt
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

bash

Bash：在许多文件上并行化 md5sum 校验和 的相关文章

  • Bash + sed/awk/cut 删除第 n 个字符

    我试图删除每行的第 6 7 和第 8 个字符 下面是包含文本格式的文件 实际输出 cat test 18 40 12 172 16 70 217 UP 18 42 15 172 16 70 218 DOWN 格式化后如下所示 cat tes

  • 如何将数据通过管道传输到交互式 bash 脚本并将输出通过管道传输到另一个命令？

    我想将数据通过管道传输到交互式命令中 并将交互式命令的输出作为另一个命令的输入接收 例如 我希望能够执行以下操作 echo Zaphod hello sh goodbye sh 并让输出为 再见 你好 赞福德 这是我对此的初步破解 但我遗漏

  • 如何让 STDOUT 和 STDERR 都转到终端和日志文件？

    我有一个脚本 将由非技术用户交互式运行 该脚本将状态更新写入 STDOUT 以便用户可以确定脚本运行正常 我希望将Stdout和STDERR重定向到终端 以便用户可以看到脚本正在工作 并查看是否存在问题 我还希望将两个流都重定向到日志文件

  • Bash 脚本监听按键以继续

    因此 我想编写一个由一系列步骤组成的 bash 脚本 并将其标识为 task 然而 每个步骤都只能完成并且可以根据用户的需要运行 Do task1 if keypressed stop task1 and move on this is t

  • Bash 脚本：将数组作为参数传递给函数并打印数组

    我将一个数组传递给一个函数并尝试打印该数组的每个元素 下面是数组参数周围带有引号的代码片段 bin bash print array array for i in array with quotes do echo i done ar 1

  • bash：清理三个文件的外连接，保留文件成员资格

    考虑以下三个文件 其标题位于第一行 file1 id name in1 1 jon 1 2 sue 1 file2 id name in2 2 sue 1 3 bob 1 file3 id name in3 2 sue 1 3 adam 1

  • 为什么是 ”＆ ;”无效的语法？

    我正在尝试在终端上运行 for 循环 我希望将每次迭代发送到后台进程 以便所有迭代同时运行 以下是命令一一运行 for i in sra do fastq dump split files i done only 我突出显示了分号 要同时运

  • 无需 root 访问权限即可安装 zsh？ [关闭]

    Closed 这个问题是无关 help closed questions 目前不接受答案 有可能 以及如何 我确实需要在几台具有 ssh 访问权限 但没有 root 访问权限 的远程计算机上使用此功能 下载 zsh wget O zsh t

  • 如何在 Linux/OS X 上温和地终止 Firefox 进程

    我正在使用 Firefox 进行一些自动化操作 尽管我可以从 shell 打开 Firefox 窗口 但我无法正确终止它 如果我kill火狐进程与kill 3 or kill 2当我下次打开新的 Firefox 窗口时 命令会询问我是否要在

  • 在后台使用 HERE_DOC 方法运行脚本

    我有一个应该在后台运行的脚本 我必须在运行 bash 后立即回答一个问题 我该怎么做 nohup python script py lst lt

  • 运行 shell 命令并将输出发送到文件？

    我需要能够通过 php 脚本修改我的 openvpn 身份验证文件 我已将我的 http 用户设置为免通 sudoer 因为这台机器仅在我的家庭网络中可用 我目前有以下命令 echo shell exec sudo echo usernam

  • 带有二进制数据的 Bash echo 命令？

    有人可以解释一下为什么这个脚本有时只返回十六进制字符串表示形式的 15 个字节吗 for i in 1 10 do API IV openssl rand 16 API IV HEX echo n API IV od vt x1 w16 a

  • Bash：产生当父脚本退出时退出的子进程

    我想在 Bash 中生成多个子进程 但我希望父脚本保持运行 这样发送到父脚本的信号也会影响生成的子进程 这不会这样做 parent bash usr bin bash spawnedChildProcess1 spawnedChildPro

  • 获取 Bash 中最后运行的程序的名称

    我有一个 bash 脚本 我使用 trap 命令捕获错误 并且我希望能够打印最后一个命令的名称 失败的命令 bin bash function error echo program name trap error ERR Some comm

  • Bash 脚本跳过提取受密码保护的档案

    我有一个脚本 它使用命令对某些文件夹中的特定 zip 和 或 tar gz 存档进行批量提取 unzip o zip path d destination folder 不幸的是 当存档受密码保护时 脚本会停止并等待密码输入 有没有办法省略

  • git log --oneline 提供在管道或重定向到文件时丢失的 HEAD 信息

    当我执行没有管道或文件重定向的 git log oneline 命令时 它会提供有关 HEAD 位置和分支的信息 下面示例中的 master git log oneline color never 8bc8511 HEAD gt day 2

  • 如何运行 bash 压缩脚本？

    有没有一种方法可以直接运行带有 参数 的压缩bash脚本 而无需将其解压缩到文件中 然后运行解压缩的文件 例如 我需要使用一些给定的参数执行 setup mysql gzip 压缩脚本 n wordpress locahost 而不先解压缩

  • EULA 接受 Bash 脚本

    我有一个尝试安装垃圾箱的脚本 除了 bin 在 more 中打开 EULA 之外 一切正常 在脚本再次开始并自行完成安装之前 您必须手动 ctrl c 退出此 more 实例 因为这更多的是逃离 shell 所以脚本在打开后不知道要运行什么

  • 如果文件修改日期早于 N 天

    此问题涉及在文件的修改日期早于这么多天时采取行动 我确信创建日期或访问日期会类似 但对于修改日期 如果我有 file path name to some file N 100 for example N is number of days

  • rsync --include 选项不排除其他文件

    尝试rsync某些扩展名 sh 的文件 但下面的bash脚本仍然传输所有文件 为什么 from home xxx rsync zvr include sh from root host home tmp 您需要添加 exclude all

随机推荐

  • 扩展语法 (...) 究竟如何与 mapGetters 配合使用？

    每当你想将计算的 getter 与 Vuex 的 mapGetter 帮助器一起使用时 你可以像这样使用它 mapGetters getter1 getter2 etc 我之前见过扩展运算符用于扩展用作函数参数的数组 但不是在方法前面 就像

  • 十进制数的正则表达式

    我需要一个十进制的验证正则表达式 小数点后最多应保留 5 位数字 允许 1 1 0 12 0 12 01 123 01 1 123 01 1 123 013 21 123 01234 3 21 123 01234 我该如何为此做正则表达式

  • WPF 将窗口标题绑定到属性

    我试图绑定从 Window 派生的类 MainWindow 的属性 MyTitle 的值 我创建了一个名为 MyTitleProperty 的依赖属性 实现了 INotifyPropertyChanged 接口并修改了 MyTitle 的

  • 使用 CMake 在构建后运行 C++ 程序

    我有一个用 C 编写的应用程序 我使用 CMake 来构建和发布二进制文件 我想让 CMakeLists txt 脚本编译并运行一个 CPP 文件 该文件用于在为应用程序构建二进制文件后对许可证文件进行时间戳记和加密 我见过运行的例子exe

  • Orchard CMS 如何进行日志记录？

    我正在使用 Orchard CMS 它对我来说是更好的 CMS 我想了解它如何进行日志记录以及我是否可以添加自己的日志记录 我看到果园使用NullLogger类 它不起作用 我已打开 App Data Logs 文件夹并看到其中有日志文件

  • ef core 2.0中有复杂类型的列类型

    我想使用 Fluent api 更改属性的列类型 但出现错误 表达式 x gt x NestedProp Prop1 不是有效的属性表达式 该表达式应表示属性访问 t gt t MyProperty 拜托 我不想使用 DataAnnotat

  • 从同一文件夹导入时 PyCharm 无法解析引用

    当我刚刚创建一个新项目时 项目文件夹 我的项目 中有两个 py 文件 main py 和functions py 在main py我导入了函数 py效果很好 但后来我在 我的项目 文件夹中创建了一些文件夹并放入main py and 函数

  • 删除所有表时出错“删除失败，因为以下 SET 选项设置不正确：‘QUOTED_IDENTIFIER’”

    我有一个脚本来删除数据库中的所有表 如下所示 Disable all constraints EXEC sp MSForEachTable ALTER TABLE NOCHECK CONSTRAINT all Disable all tri

  • Safari 中的页面转换效果？

    如何为网页添加像Safari中IE一样的页面切换效果 你可以看看这个例子 http sachiniscool blogspot com 2006 01 implementing page transitions in html http s

  • 帮我评估一下这个选角

    我在 PowerVR 网格绘图代码中找到了这个 但我真的不知道如何阅读它 unsigned short 0 3 mesh sBoneBatches pnBatchOffset batchNum 这里发生了什么 这是对 void 的引用 强制

  • Rails 3 简单形式错误：无法解析 YAML

    我的new html erb h1 New konkurrancer h1 我在视图中收到此错误 http localhost 3000 admin konkurrancers new Psych SyntaxError in Admin

  • 为什么我升级版本 django-mptt 后出现数据库迁移错误？

    我的 Django 应用程序有一个requirements txt 文件 如图所示here https gist github com saqib zmi b0168e18ee4a0a7ee2f6 我用它在虚拟环境中安装模块 一切正常 但是

  • 通过 Java 启动 VLC 播放器

    我想通过 Java 程序启动我的 VLC 播放器 有人可以帮助我吗 提前致谢 使用 VLCJ 这是新链接 http caprica github io vlcj

  • jQuery AJAX 调用获取 Web api 数据返回语法错误

    我正在尝试获取这个json questions tagged json来自此 url 的对象 https test3 diavgeia gov gr luminapi opendata dictionaries KANONISTIKI PR

  • 使用 PHP 最简单的双向加密

    在常见 PHP 安装中进行双向加密的最简单方法是什么 我需要能够使用字符串密钥加密数据 并使用相同的密钥在另一端解密 安全性并不像代码的可移植性那么重要 因此我希望能够使事情尽可能简单 目前 我正在使用 RC4 实现 但如果我能找到本机支持

  • 通过工作流基础4.0中的代码注册自定义跟踪参与者

    我在尝试在工作流基础 4 0 中附加自定义跟踪参与者时遇到问题 我有一个继承自 TrackingParticipant 的类 但除了通过大量混乱的 app config 条目 如下面的 SDK 示例 在 system servicemode

  • Mnesia 返回 {aborted, no_transaction}

    我有一个名为 Mnesia 的表person 使用以下记录定义 record person id firstname lastname phone 该表包含以下值 12 alen dumas 97888888 13 franco mocci

  • 是否可以在没有 LINQ 的情况下使用实体框架？

    是否可以在没有 LINQ 实体的 linq 的情况下使用实体框架 目前尚不清楚分别使用 Linq to Entities 和 EF 的含义 这是一个单独的库实体框架 dll 如果你想在普通 SQL 上编写查询 你可以使用SQL查询 http

  • 将渲染的 pdf 文件保存到模型字段 Django

    我现在正在尝试将使用 HTML 呈现的 pdf 文件保存到模型字段 它会抛出此错误 强制转换为 Unicode 需要字符串或缓冲区 已找到实例 这是代码 def save to pdf template src context dict p

  • Bash：在许多文件上并行化 md5sum 校验和

    假设我有一个 64 核服务器 我需要计算md5sum中所有文件的 mnt data 并将结果存储在文本文件中 find mnt data type f exec md5sum gt md5 txt 上述命令的问题是 在任何给定时间只有一个进

热门标签