Linux - 文件复制后大小不一致的问题

2023-05-16

问题:通过cp或者rsync传输文件后,通过du -s查看到的体积,前后不一致。

原因:https://stackoverflow.com/questions/10364999/file-size-changes-when-using-cp

为了验证文件传输的正确性,可选用下列方法之一

 

方法一:du默认统计的是block的大小,加上--apparent-size之后统计的就是文件本身大小,但是依然可能对不上,orz...

du -s --apparent-size

 

方法二:比对两个目录所有文件的hash值是否一样,注意此方法会造成 io.await 飙高...

$ cd ~/dir1

$ find . -type f \( -exec sha1sum "{}" \; \) | sort -k2,2 | sha1sum

$ cd ~/dir2

$ find . -type f \( -exec sha1sum "{}" \; \) | sort -k2,2 | sha1sum

来自: https://unix.stackexchange.com/questions/106275/du-gives-two-different-results-for-the-same-file 

 

方法三:文件复制完后再次执行rsync用checksum特性来比对所有文件的hash值,此方法会造成 io.util 升高,io.await不会…

# -c, --checksum: skip based on checksum, not mod-time & size

#  In order to verify all copies you have to do another rsync with --checksum option, they say. 

rsync -rac src dst

来自: https://superuser.com/questions/218544/is-there-a-copy-and-verify-command-in-ubuntu-linux 

 

其他参考文章:

du -s -k differences between two identical directories

Copying data over with rsync causes size discrepancies

Different file size after copy

Does rsync verify files copied between two local drives?

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Linux - 文件复制后大小不一致的问题 的相关文章

  • 主动\被动模式下 FTP 服务器的适当 iptables 规则

    我在 CentOS6 上安装了 ProFTPD 服务器 如果我使 ftp 本地主机 我可以正确连接 但如果我从外部尝试 我会收到消息 没有到主机的路由 但有一条到主机的路由 因为我是通过 SSH 连接的 我尝试添加以下 iptable 规则
  • 如何从内部找到C++ Linux程序的完整路径?

    我有这个要求 我需要从内部找到 C 程序的完整路径 对于Windows 我有以下解决方案 argv 0 可能包含也可能不包含完整路径 但我需要确定 TCHAR drive MAX DRIVE dir MAX DIR base MAX FNA
  • 检测后台操作

    在C中 检测程序在 后台模式 下调用的方法是什么 我有一个程序想要以交互方式或在后台启动 我怎样才能检测到我不应该从标准输入读取并以 已停止 tty 输入 状态结束 我应该测试 stdin 是否已关闭 我怎样才能做到这一点 编辑 isatt
  • 如何在 arago 项目构建中编写自己的食谱包

    我如何在 arago 项目构建中编写自己的食谱包 我知道它可以是 bitbake 文件 但我怎么写 不知道 我在互联网上搜索 但未能找到任何好的来源 有人可以给我提供链接或示例来开始吗 RegardsLinux 学习者 使用 Bitbake
  • 导入错误:没有名为“tensorrt”的模块

    我使用 Debian 安装在我的虚拟机上安装了 TensorRT 如果我运行 dpkg l grep TensorRT 我会得到预期的结果 ii graphsurgeon tf 5 0 2 1 cuda10 0 amd64 GraphSur
  • 将任何当前目录“./”添加到Linux中的搜索路径[关闭]

    Closed 这个问题不符合堆栈溢出指南 help closed questions 目前不接受答案 如何将任何当前目录 添加到 Linux 中可执行文件的搜索路径中 我知道这是一个旧答案 但如果其他人像我一样通过谷歌偶然发现这个问题 这里
  • Linux 内核中是否使用了扩展指令集(SSE、MMX)?

    好吧 它们带来 至少应该带来 性能的巨大提升 不是吗 所以 我还没有看到任何 Linux 内核源代码 但很想问 它们是否以某种方式被使用 在这种情况下 对于没有此类指令的系统 必须有一些特殊的 代码上限 SSE 和 MMX 指令集在音频 视
  • 您会为 Linux 推荐哪种甘特图/项目管理工具? [关闭]

    Closed 这个问题是无关 help closed questions 目前不接受答案 我需要一个可在 Linux 中运行并具有甘特图的项目管理工具 它不一定是免费的 只是不贵 我不在乎它如何存储我提供的信息 只要我可以访问它即可 我一定
  • 使用 awk 处理多个文件

    我必须使用 awk 处理大量 txt 文件 每个文件 1600 万行 我必须阅读例如十个文件 File 1 en sample 1 200 en n sample 2 10 en sample 3 10 File 2 en sample 1
  • 结束 perl 脚本而不等待系统调用返回

    我在 Linux Ubuntu 14 04 上运行一个简单的 apache Web 服务器 并使用 perl CGI 脚本处理一些请求 该脚本使用以下命令启动系统命令system函数 但我希望它立即返回 无论系统调用的结果如何 我一直在传递
  • 如何为自定义应用程序选择静态端口号?

    我们有一个自定义应用程序 需要在其自己的端口号上处理请求 我们真的不在乎这个数字是多少 尽管我们在决定后会坚持使用该端口 如何选择最不可能与用户系统上运行的其他应用程序或服务发生冲突的数字 我们应该遵循什么规则或标准吗 澄清 一旦我们选择了
  • 使用 EOF 在未命名管道上发出信号

    我有一个测试程序 它使用使用 pipeline 创建的无名管道在 Linux 系统上使用 fork 创建的父进程和子进程之间进行通信 通常 当发送进程关闭管道的 write fd 时 接收进程从 read 返回值为 0 表示 EOF 然而
  • 64 位上的 ASLR 和内存布局:是否仅限于规范部分 (128 TiB)?

    当加载启用 ASLR 的 PIE 可执行文件时 Linux 是否会限制程序段到规范部分 最多 0000 7fff ffff ffff 的映射 还是会使用完整的较低部分 起始位 0 显然 Linux 不会给你的进程提供不可用的地址 这会导致它
  • 具有多个文件扩展名的查找命令

    我正在查看许多子目录 找到所有以 JPG jpg 和 png 结尾的文件 并将它们复制到一个单独的目录中 但是现在只找到 JPG 有人可以解释我做错了什么吗 find root TEST Images name png o name jpg
  • 在 Linux 内核中使用断言

    我有一个问题assert 在Linux中 我可以在内核中使用它吗 如果不是 例如 如果我不想输入 NULL 指针 您通常会使用什么技术 对应的内核宏是BUG ON and WARN ON 前者适用于当您想让内核恐慌并使系统崩溃 即不可恢复的
  • Tensorflow推荐的系统规格?

    我开始在我的 RHEL 6 5 机器上安装 Tensorflow 但事实证明 Tensorflow 需要 glibc gt 2 17 而 rhel 6 5 上默认的 glibc 是 2 12 我想知道是否有人可以帮助我了解张量流的最低 推荐
  • __NR_gettid 和 SYS_gettid 之间的区别

    我只是在寻找在 Linux 中获取唯一线程 ID 的方法 我发现的方法是将两个参数中的任何一个作为参数进行系统调用 NR gettid OR SYS gettid 有人能解释一下它们之间有何不同吗 Nothing in
  • SDL - 窗口不显示任何内容

    我正在执行 SDL C 的第一步 并从 www sdl org 上学习了一些教程 但有一个问题 我已经在我的 Linux Mint 系统上安装了 SDL2 编译了教程代码 ifdef cplusplus include
  • 无法从 Windows GUI 工具连接到远程 Linux 服务器上的 MySql 数据库

    我已经在 Amazon EC2 上的 Linux 服务器上设置了 mysql 数据库 这在本地效果很好 我可以登录 linux 盒子并管理 mysql 数据库 我正在尝试将本地 GUI 客户端连接到远程 mysql 但连接失败 我更新了 e
  • 在 execl 在输出中不可见之前打印

    include

随机推荐

  • centos7.5部署高可用k8s(三) ---- 外置etcd集群

    前面的高可用集群的etcd是与control plane部署在同一个节点上的 xff0c 两者会相互影响 xff0c etcd还有一种部署方式是与control plane分离部署 xff0c 提供更高的稳定性 这里部署一个3节点的etcd
  • 抢单模式的研究

    最近在做关于公司的一个社区的项目 xff0c 在其中用到了一些业务模式 xff0c 对这些模式的应用做一个简单的总结 这是一个类似滴滴的抢单模式的项目 xff0c 对于抢单模式的实现做一个小小的总结 主要用到了三个表 问题表q 问题流转表q
  • mysql中的事务提交

    今天被问到了一个mysql自动事务提交的问题 xff0c 就着这个问题对mysql的事务提交机制进行了一些研究 xff0c 将测试的结果总结下 一 mysql的自动事务提交设置 mysql中的自动事务提交是通过参数autocommit配置的
  • python 图像重叠分块恢复

    图像重叠分块请阅读这篇文章 xff1a https blog csdn net coolsunxu article details 102639674 import cv2 import math import numpy as np im
  • VMware搭建多台linux虚拟机内网环境

    现在的环境经常要使用linux系统组成的局域网环境来做各种测试 xff0c 使用windows的用户如何如何在一台机器上模拟多台linux系统组成的linux集群环境呢 xff1f 这就要用到虚拟化技术了 xff0c 这篇讲解一下如何利用V
  • JVM参数配置简单实战

    之前被问到jvm性能监控方面的问题 xff0c 花时间对jvm相关的参数进行了一些研究 xff0c 现将学习到的知识小结一下 测试环境 xff1a 系统 64位win10系统 jdk版本 xff1a 1 8 0 191 一 构建稳定的JVM
  • VMware虚拟机桥接模式配置

    前述有配置过NAT模式的虚拟机环境 xff0c 这篇再简单谈谈桥接模式的虚拟机环境配置 测试环境 xff1a 主机 xff1a 64位Win10 宿主机IP xff1a 192 168 1 4 虚拟机 xff1a ubuntu16 04 A
  • OpenHarmony鸿蒙docker编译环境搭建

    为什么要搭建docker 主要自己的ubuntu环境有太多其他的编译环境 xff0c 如果每次编译不同的代码都需要解决编译环境依赖的问题 xff0c 是一个比较头大的问题 因此想着利用docker来解决编译环境的问题 下面主要介绍的就是鸿蒙
  • ubuntu 16.04 安装Ralink MT7601U (148f:7601) 驱动

    最近买了一个无线网卡 xff0c 然后插在ubuntu上 xff0c 发现wifi用不了 xff0c 然后试了很多安装驱动的方法 xff0c 发现驱动安装不上去 解决方法 sudo apt add repository ppa thopie
  • sourcetree 修改difftool 为 Beyond Compare 的方法

    sourcetree里设置不管用 xff0c google了下 xff0c 可以通过修改 gitconfig 文件来实现 diff tool 61 sourcetree difftool prompt 61 false difftool 3
  • MAC - 查看当前用户所属组

    总是忘记 xff0c 备注下 groups 查看当前用户所属组 groups user name 查看指定用户所属组 Note xff1a 用户所属组可能有多个 id a user name 可以查到指定用户所属组更详细的信息 查看当前用户
  • MAC - 开放指定端口

    适用OSX 10 10之前版本 xff1a 开放8020端口 sudo ipfw add 8020 allow tcp from any to any dst port 8020 参考资料 xff1a How can I open a po
  • MySql - 导入数据时 Table XXX doesn't exist 的解决

    数据表为Innodb引擎 data文件夹中存在数据表的frm文件 xff0c 但在phpmyadmin中看不到这些表 xff0c 于是采用导入sql文件的方式进行恢复 1 直接导入原数据表的sql文件 xff0c 原frm文件不删除 出错
  • 使用SVN提示“工作副本已经锁定”的解决办法

    更新或者提交前执行一下clean up 如果在当前目录执行该命令后 xff0c 仍然提示锁定 xff0c 就到上一层目录再执行下
  • Word Break(C++单词拆分)

    xff08 1 xff09 动态规划 class Solution public bool wordBreak string s vector lt string gt amp wordDict int len 61 wordDict si
  • sublime配置全攻略

    大家好 xff0c 今天给大家分享一款编辑器 xff1a sublime text2 我用过很多编辑器 xff0c EditPlus EmEditor Notepad 43 43 Notepad2 UltraEdit Editra Vim
  • Sublime Text 2 的HTML代码格式化插件Tag

    安装 xff1a 1 按Ctrl 43 Shift 43 P调出命令面板 2 输入 ip 调出 Package Control Install Package 选项 xff0c 按下回车后接着输入 Tag xff0c 再次按回车等待安装完成
  • Raspberry - 安装Mysql 5.7

    设备 xff1a Raspberry pi 3 系统 xff1a debian 9 stretch apt get目前还没有最新的5 7可以装 xff0c 尝试自己编译安装 xff0c 结果跑了一天 xff0c 最后还是失败 xff0c 后
  • MySql - 重置root密码(版本5.7.21)

    Mysql 版本 xff1a 5 7 21 网上能搜到的文章还挺多的 xff0c 最常见的是这个 xff1a 1 修改 my ini xff0c 在 mysqld 下增加一行 xff1a skip grant tables 2 重启 mys
  • Linux - 文件复制后大小不一致的问题

    问题 xff1a 通过cp或者rsync传输文件后 xff0c 通过du s查看到的体积 xff0c 前后不一致 原因 xff1a https stackoverflow com questions 10364999 file size c