我有一个非常大的文件夹，我想对其进行 gzip 压缩并拆分以进行存档：
#!/bin/bash
dir=$1
name=$2
size=32000m
tar -czf /dev/stdout ${dir} | split -a 5 -d -b $size - ${name}
有没有办法用 gnu parallel 来加速这个过程？
谢谢。
并行 gzip 压缩的最佳工具似乎是pigz http://zlib.net/pigz/。请参阅比较 http://vbtechsupport.com/1614/.
有了它，你可以有这样的命令：
tar -c "${dir}" | pigz -c | split -a 5 -d -b "${size}" - "${name}"
与它的选项-p您还可以指定要使用的线程数（默认为在线处理器数量，如果未知则为 8）. See pigz --help or man pigz了解更多信息。
UPDATE
使用 GNU 并行，你可以这样做：
contents=("$dir"/*)
outdir=/somewhere
parallel tar -cvpzf "${outdir}/{}.tar.gz" "$dir/{}" ::: "${contents[@]##*/}"
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
