快速文件复制并取得进展

2024-03-06

我正在为 Linux 编写一个 SDL 应用程序,它可以从控制台运行(无 X 服务器)。我拥有的一个功能是文件复制机制,它将特定文件从 HDD 复制到 USB 闪存设备,并在 UI 中显示此复制的进度。为此,我使用简单的 while 循环并按 8kB 块复制文件来获取复制进度。问题是,它很慢。我在近 10 分钟内复制了一个 100 MB 的文件,这是不可接受的。

如何实现更快的文件复制?我正在考虑一些异步 API,它将文件从 HDD 读取到缓冲区,并在单独的线程中将数据存储到 USB,但我不知道是否应该自己实现这个,因为它看起来不是一件容易的任务。也许你知道一些可以帮助我的 C++ API/库?或者也许还有其他更好的方法?


不要与复制进度同步更新您的 UI,这会大大减慢速度。您应该在与主 UI 线程不同的线程上运行文件复制,以便文件复制可以尽可能快地进行,而不会影响应用程序的响应能力。然后,UI 可以以自然速率(例如以显示器的刷新速率)进行自我更新。

您还应该使用大于 8 KB 的缓冲区大小。尝试一下,但我认为使用更大的缓冲区大小(例如在 64-128 KB 范围内)您会获得更快的结果。

所以,它可能看起来像这样:

#define BUFSIZE (64*1024)

volatile off_t progress, max_progress;

void *thread_proc(void *arg)
{
    // Error checking omitted for expository purposes
    char buffer[BUFSIZE];
    int in = open("source_file", O_RDONLY);
    int out = open("destination_file", O_WRONLY | O_CREAT | O_TRUNC);

    // Get the input file size
    struct stat st;
    fstat(in, &st);

    progress = 0;
    max_progress = st.st_size;

    ssize_t bytes_read;
    while((bytes_read = read(in, buffer, BUFSIZE)) > 0)
    {
        write(out, buffer, BUFSIZE);
        progress += bytes_read;
    }

    // copy is done, or an error occurred
    close(in);
    close(out);

    return 0;
}

void start_file_copy()
{
    pthread_t t;
    pthread_create(&t, NULL, &thread_proc, 0);
}

// In your UI thread's repaint handler, use the values of progress and
// max_progress

请注意,如果您要将文件发送到socket而不是另一个文件,您应该使用sendfile(2) http://linux.die.net/man/2/sendfile系统调用,直接在内核空间中复制文件,而无需往返用户空间。当然,如果您这样做,您将无法获得任何进度信息,因此这可能并不总是理想的。

对于 Windows 系统,您应该使用CopyFileEx http://msdn.microsoft.com/en-us/library/aa363852%28v=VS.85%29.aspx,这既高效又为您提供进度回调例程。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

快速文件复制并取得进展 的相关文章

  • ASP.NET Core Serilog 未将属性推送到其自定义列

    我有这个设置appsettings json对于我的 Serilog 安装 Serilog MinimumLevel Information Enrich LogUserName Override Microsoft Critical Wr
  • 如何在列表框项目之间画一条线

    我希望能够用水平线分隔列表框中的每个项目 这只是我用于绘制项目的一些代码 private void symptomsList DrawItem object sender System Windows Forms DrawItemEvent
  • 使闭包捕获的变量变得易失性

    闭包捕获的变量如何与不同线程交互 在下面的示例代码中 我想将totalEvents 声明为易失性的 但C 不允许这样做 是的 我知道这是错误的代码 这只是一个例子 private void WaitFor10Events volatile
  • 加快网络抓取速度

    我正在使用一个非常简单的网络抓取工具抓取 23770 个网页scrapy 我对 scrapy 甚至 python 都很陌生 但设法编写了一个可以完成这项工作的蜘蛛 然而 它确实很慢 爬行 23770 个页面大约需要 28 小时 我看过scr
  • WPF TabControl,用C#代码更改TabItem的背景颜色

    嗨 我认为这是一个初学者的问题 我搜索了所有相关问题 但所有这些都由 xaml 回答 但是 我需要的是后台代码 我有一个 TabControl 我需要设置其项目的背景颜色 我需要在选择 取消选择和悬停时为项目设置不同的颜色 非常感谢你的帮助
  • 如何返回 json 结果并将 unicode 字符转义为 \u1234

    我正在实现一个返回 json 结果的方法 例如 public JsonResult MethodName Guid key var result ApiHelper GetData key Data is stored in db as v
  • vector 超出范围后不清除内存

    我遇到了以下问题 我不确定我是否错了或者它是一个非常奇怪的错误 我填充了一个巨大的字符串数组 并希望在某个点将其清除 这是一个最小的例子 include
  • 如何衡量两个字符串之间的相似度? [关闭]

    Closed 这个问题需要多问focused help closed questions 目前不接受答案 给定两个字符串text1 and text2 public SOMEUSABLERETURNTYPE Compare string t
  • for循环中计数器变量的范围是多少?

    我在 Visual Studio 2008 中收到以下错误 Error 1 A local variable named i cannot be declared in this scope because it would give a
  • 如何将单个 char 转换为 int [重复]

    这个问题在这里已经有答案了 我有一串数字 例如 123456789 我需要提取它们中的每一个以在计算中使用它们 我当然可以通过索引访问每个字符 但是如何将其转换为 int 我研究过 atoi 但它需要一个字符串作为参数 因此 我必须将每个字
  • Qt表格小部件,删除行的按钮

    我有一个 QTableWidget 对于所有行 我将一列的 setCellWidget 设置为按钮 我想将此按钮连接到删除该行的函数 我尝试了这段代码 它不起作用 因为如果我只是单击按钮 我不会将当前行设置为按钮的行 ui gt table
  • 为什么在展开的 ADD 循环内重新初始化寄存器会使其运行速度更快,即使循环内有更多指令?

    我有以下代码 include
  • 实体框架 4 DB 优先依赖注入?

    我更喜欢创建自己的数据库 设置索引 唯一约束等 使用 edmx 实体框架设计器 从数据库生成域模型是轻而易举的事 现在我有兴趣使用依赖注入来设置一些存储库 我查看了 StackOverflow 上的一些文章和帖子 似乎重点关注代码优先方法
  • 将 xml 反序列化为类,list<> 出现问题

    我有以下 XML
  • 如何使我的表单标题栏遵循 Windows 深色主题?

    我已经下载了Windows 10更新包括黑暗主题 文件资源管理器等都是深色主题 但是当我创建自己的 C 表单应用程序时 标题栏是亮白色的 如何使我自己的桌面应用程序遵循我在 Windows 中设置的深色主题 你需要调用DwmSetWindo
  • Process.Start 阻塞

    我正在调用 Process Start 但它会阻止当前线程 pInfo new ProcessStartInfo C Windows notepad exe Start process mProcess new Process mProce
  • const、span 和迭代器的问题

    我尝试编写一个按索引迭代容器的迭代器 AIt and a const It两者都允许更改容器的内容 AConst it and a const Const it两者都禁止更改容器的内容 之后 我尝试写一个span
  • x86 上未对齐的指针

    有人可以提供一个示例 将指针从一种类型转换为另一种类型由于未对齐而失败吗 在评论中这个答案 https stackoverflow com questions 544928 reading integer size bytes from a
  • 限制C#中的并行线程数

    我正在编写一个 C 程序来生成并通过 FTP 上传 50 万个文件 我想并行处理4个文件 因为机器有4个核心 文件生成需要更长的时间 是否可以将以下 Powershell 示例转换为 C 或者是否有更好的框架 例如 C 中的 Actor 框
  • 恢复上传文件控制

    我确实阅读了以下帖子 C 暂停 恢复上传 https stackoverflow com questions 1048330 pause resume upload in c 使用 HTTP 恢复上传 https stackoverflow

随机推荐

  • 从 Travis 上的 Protractor 在 Sauce Labs 上运行 e2e 测试

    所以我有我的开源项目 https github com ahmednuaman radian https github com ahmednuaman radian 并且我有一些可以在本地运行良好的 e2e 测试量角器 https gith
  • 检查是否安装了 Windows 映像组件(wic 注册表)

    如何检查64位XP机器上是否安装了Windows映像组件 检查是否存在C Windows System32 WindowsCodecs dll
  • 连接 3 个字符串并返回指向新字符串 C 的指针

    我想知道是否有人可以帮助我 我正在尝试连接 3 个字符串并返回指向新字符串的指针 我似乎不知道如何使用strncat代替strcat and strncpy代替strcpy 我只学习 C 所以任何帮助将不胜感激 char concatena
  • android Google Play 警告:SSL 错误处理程序漏洞

    我在我的应用程序中使用 gorbin ASNE SDK 我最近收到一封来自 Google 的电子邮件 主题如下 Google Play 警告 SSL 错误处理程序漏洞 在这封电子邮件中 Google 解释说我的应用程序有一个 WebView
  • 在全屏模式下调整框架组件的大小

    我希望我的框架组件始终在屏幕中进行调整 无论屏幕尺寸如何 我在笔记本电脑 小屏幕 中绘制框架 当我在另一台具有大屏幕的机器 jar 文件 中运行应用程序时 框架组件不会重新调整大小 当我在任何机器上将框架置于全屏模式时 如何使框架调整其组件
  • Zend Framework 中处理会话的最佳方法

    因此 我在 Zend 框架中启动 并希望实现站点范围的 用户 会话 我可以从应用程序中的所有模块 控制器轻松访问它 我想 我应该在库中创建一个新的命名空间并扩展控制器 例如 class MYCUSTOMLIB Controller Acti
  • MySQL 查询月份年份

    我有一个包含以下字段的表 id int name varchar dob datetime 现在我需要一个可以同时匹配月份和年份的查询 我现在使用的是 select from users where month dob 12 and yea
  • Scala Spark Encoders.product[X](其中 X 是案例类)不断给出“No TypeTag available for X”错误

    我正在 Scala 工作表中使用 Intellij Idea 我想为 scala 案例类创建一个编码器 从互联网上的各种帖子中 我找到了使用 Encoders product 的建议 但它从来没有对我有用 下面的代码 import org
  • 如何将事件绑定到 Canvas 项目?

    如果我使用画布来显示数据 并且希望用户能够单击画布上的各个项目以获得更多信息或以某种方式与之交互 那么最好的方法是什么 在线搜索我可以找到有关如何将事件绑定到标签的信息 但这似乎比我想要的更间接 我不想用标签对项目进行分组 而是当用户单击画
  • 如何在 XSLT 转换中为元素的默认数据类型添加属性“type”

    例如 输入 XML
  • 从 Python 生成图形的最简单方法? [关闭]

    Closed 此问题正在寻求书籍 工具 软件库等的推荐 不满足堆栈溢出指南 help closed questions 目前不接受答案 我正在使用 Python 处理填充有我想要运行计算的数据的 CSV 文件 然后绘制图表 我正在寻找一个可
  • 在 C++ 中传递对象所有权

    表明一个对象想要获得另一个对象的所有权的最佳方式是什么 到目前为止 我一直在使用std auto ptr在公共接口中 因此客户端知道该接口想要获取所传递对象的所有权 然而 最新的 GCC 告诉我auto ptr已弃用 所以我想知道推荐什么
  • 如何使用 VisPy 库实时绘图?

    我编写了一个脚本来模拟流行病的演变 使用图表和散点图 我尝试了几个库来实时显示结果 8 个国家 x 500 个粒子 Matplotlib 不够快 PyQtGraph 更好但仍然不够快 OpenGL 很好 但我没有找到如何在 2D 中有效地使
  • 如何在屏幕旋转时保持recyclerView的滚动位置

    我正在使用 gridlayoutManager 填充 recyclerView 现在我想保存屏幕旋转的滚动位置 我尝试使用 onSaveInstanceState 和 onRestoreInstanceState 来执行此操作 如本文所示
  • WPF DataGrid - 如何在按下 Tab 键后将键盘焦点移动到新添加的行

    如果我们在最后一行的最后一列上按 Tab 键 WPF DataGrid 将添加一个新行 但添加新行后 焦点将移至网格的顶行 我们如何确保焦点移动到新行的第一列 你可以尝试类似的东西 this SelectRowCell this Items
  • php“curl”不起作用[关闭]

    这个问题不太可能对任何未来的访客有帮助 它只与一个较小的地理区域 一个特定的时间点或一个非常狭窄的情况相关 通常不适用于全世界的互联网受众 为了帮助使这个问题更广泛地适用 访问帮助中心 help reopen questions 我正在尝试
  • 从 Excel 工作簿 VSTO 调用 Excel 加载项函数

    我想在 Excel Add In 2007 解决方案中创建一个方法 可以从我的 Excel Workbook 2007 解决方案中调用该方法 我解释一下 我想从Excel工作簿2007解决方案的代码隐藏文件中调用Excel加载项的方法 我不
  • 读取大型制表符分隔文件分块时出现异常

    我有一个 350MB 制表符分隔的文本文件 如果我尝试将其读入内存 则会出现内存不足异常 所以我正在尝试一些类似的事情 即只阅读几列 import pandas as pd input file and path r C Christian
  • Python 256位哈希函数,带数字输出

    我需要一个具有 256 位输出 如 long int 的哈希函数 首先 我认为我可以使用 hashlib 中的 SHA256 但它有一个字符串输出 我需要一个数字来计算 将 32 字节字符串转换为 long 也可以 但我没有找到任何东西 在
  • 快速文件复制并取得进展

    我正在为 Linux 编写一个 SDL 应用程序 它可以从控制台运行 无 X 服务器 我拥有的一个功能是文件复制机制 它将特定文件从 HDD 复制到 USB 闪存设备 并在 UI 中显示此复制的进度 为此 我使用简单的 while 循环并按