压缩神器pigz (多进程压缩工具)
介绍 最近需要对服务器上ftp文件进行压缩,文件数量有几十万体积也有几十T,使用xz进行压缩时发现耗时太长,CPU只能跑到100%,于是想到使用多线程压缩,在网上搜索找到一个压缩神器pigz Pigz默认用当前逻辑cpu个数来并发压缩,无法检测个数的话,则默认并发8个线程,也可以使用-p指定线程数。需要注意的是其CPU使用比较高。 用法 压缩 # -9是压缩比率 -p是指定cpu的核数 tar cvf - dir | pigz -9 -p 24 > file.tgz 解压: # 这时候是tar包,那么再用 tar -xvf file.tar pigz -d file.tgz # 或者 pigz -dc file.tgz | tar -xvf - 更具体的pigz的用法请参考pigz –help