程序员经验分享-hwhale

fwrite 对于大量小写入的效率

2023-12-19

我有一个程序可以使用以下命令保存许多>1GB的大文件fwrite它工作得很好，但不幸的是由于每次调用的数据的性质fwrite只写1-4字节。结果，写入可能需要一个多小时，其中大部分时间似乎是由于系统调用开销（或至少在 fwrite 的库函数中）。我有类似的问题fread.

有谁知道任何现有的/库函数将使用内联函数缓冲这些写入和读取，或者这是您自己的另一个卷？


首先，fwrite()是一个库而不是系统调用。其次，它已经缓冲了数据。

您可能想尝试增加缓冲区的大小。这是通过使用完成的setvbuf() http://pubs.opengroup.org/onlinepubs/009695399/functions/setvbuf.html。在我的系统上，这只会有一点点帮助，但是 YMMV。

If setvbuf()没有帮助，你可以做你自己的缓冲，只调用fwrite()一旦你积累了足够的数据。这涉及更多的工作，但几乎肯定会加快写入速度，因为您自己的缓冲可以变得更加轻量级fwrite()'s.

edit:如果有人告诉你这只是数量fwrite()呼吁这就是问题所在，要求查看证据。更好的是，进行自己的性能测试。在我的计算机上，使用 500,000,000 次两字节写入fwrite()需要11秒。这相当于大约 90MB/s 的吞吐量。

最后但并非最不重要的一点是，我的测试中的 11 秒与您问题中提到的 1 小时之间的巨大差异暗示了您的代码中可能存在其他问题导致性能非常差。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

c

unix

fwrite

systemcalls

fwrite 对于大量小写入的效率 的相关文章

  • 在 LINQ 查询中返回不带时间的日期

    我正在编写一个查询 我想计算按日期联系我们的呼叫中心的次数 看起来很简单 但由于联系日期字段是日期时间字段 我得到了时间 因此当我按联系日期 时间 分组时 每个联系日期实例的计数为 1 所以 我想只按日期分组 而不按时间分组 下面是我用来查

  • C++：无法使用scoped_allocator_adaptor传播polymorphic_allocator

    我有一个vector

  • Signalr 在生产服务器中总是陷入长轮询

    当我在服务器中托管应用程序时 它会检查服务器端事件并始终回退到长轮询 服务器托管环境为Windows Server 2012 R1和IIS 7 5 无论如何 我们是否可以解决这个问题 https cloud githubuserconten

  • Func 方法参数的首选命名约定是什么？

    我承认这个问题是主观的 但我对社区的观点感兴趣 我有一个缓存类 它采用类型的缓存加载器函数Func

  • fgets() 和 Ctrl+D，三次才能结束？

    I don t understand why I need press Ctrl D for three times to send the EOF In addition if I press Enter then it only too

  • 为什么禁止在 constexpr 函数中使用 goto？

    C 14 对你能做什么和不能做什么有规则constexpr功能 其中一些 没有asm 没有静态变量 看起来相当合理 但标准也不允许goto in constexpr功能 即使它允许其他控制流机制 这种区别背后的原因是什么 我以为我们已经过去

  • C# 中可空类型是什么？

    当我们必须使用nullable输入 C net 任何人都可以举例说明 可空类型 何时使用可空类型 https web archive org web http broadcast oreilly com 2010 11 understand

  • 写入和读取文本文件 - C# Windows 通用平台应用程序 Windows 10

    有用 但在显示任何内容之前 您必须在文本框中输入内容 我想那是因为我使用了 TextChanged 事件处理程序 如果我希望它在没有用户交互的情况下显示文本文件的内容 我应该使用哪个事件处理程序 因此 我想在按下按钮时将一些数据写入 C W

  • 当 Cortex-M3 出现硬故障时如何保留堆栈跟踪？

    使用以下设置 基于 Cortex M3 的 C gcc arm 交叉工具链 https launchpad net gcc arm embedded 使用 C 和 C FreeRtos 7 5 3 日食月神 Segger Jlink 与 J

  • 基于范围的 for 循环中的未命名循环变量？

    有没有什么方法可以不在基于范围的 for 循环中 使用 循环变量 同时也避免编译器发出有关未使用它的警告 对于上下文 我正在尝试执行以下操作 我启用了 将警告视为错误 并且我不想进行像通过在某处毫无意义地提及变量来强制 使用 变量这样的黑客

  • 为什么模板不能位于外部“C”块内？

    这是一个后续问题一个答案 https stackoverflow com questions 4866433 is it possible to typedef a pointer to extern c function type wit

  • 在 ASP.Net Core 2.0 中导出到 Excel

    我曾经使用下面的代码在 ASP NET MVC 中将数据导出到 Excel Response AppendHeader content disposition attachment filename ExportedHtml xls Res

  • A* 之间的差异 pA = 新 A;和 A* pA = 新 A();

    在 C 中 以下两个动态对象创建之间的确切区别是什么 A pA new A A pA new A 我做了一些测试 但似乎在这两种情况下 都调用了默认构造函数 并且仅调用了它 我正在寻找性能方面的任何差异 Thanks If A是 POD 类

  • 初始化变量的不同方式

    在 C 中初始化变量有多种方法 int z 3 与 int 相同z 3 Is int z z 3 same as int z z 3 您可以使用 int z z 3 Or just int z 3 Or int z 3 Or int z i

  • 网络参考共享类

    我用 Java 编写了一些 SOAP Web 服务 在 JBoss 5 1 上运行 其中两个共享一个类 AddressTO Web 服务在我的 ApplycationServer 上正确部署 一切都很顺利 直到我尝试在我的 C 客户端中使用

  • AccessViolationException 未处理

    我正在尝试使用史蒂夫 桑德森的博客文章 http blog stevensanderson com 2010 01 28 editing a variable length list aspnet mvc 2 style 为了在我的 ASP

  • 作为字符串的动态属性名称

    使用 DocumentDB 创建新文档时 我想设置属性名称动态地 目前我设置SomeProperty 像这样 await client CreateDocumentAsync dbs db colls x new SomeProperty

  • 在 ASP.NET 中将事件冒泡为父级

    我已经说过 ASP NET 中的层次结构 page user control 1 user control 2 control 3 我想要做的是 当控件 3 它可以是任何类型的控件 我一般都想这样做 让用户用它做一些触发回发的事情时 它会向

  • 更改显示的 DPI 缩放大小使 Qt 应用程序的字体大小渲染得更大

    我使用 Qt 创建了一些 GUI 应用程序 我的 GUI 应用程序包含按钮和单选按钮等控件 当我运行应用程序时 按钮内的按钮和字体看起来正常 当我将显示器的 DPI 缩放大小从 100 更改为 150 或 200 时 无论分辨率如何 控件的

  • C++ 成员函数中的“if (!this)”有多糟糕？

    如果我遇到旧代码if this return 在应用程序中 这种风险有多严重 它是一个危险的定时炸弹 需要立即在应用程序范围内进行搜索和销毁工作 还是更像是一种可以悄悄留在原处的代码气味 我不打算writing当然 执行此操作的代码 相反

随机推荐

  • AttributeError：“模型”对象没有属性“predict_classes”

    我正在尝试使用预先训练和微调的深度学习模型来预测验证数据 该代码遵循 Keras 博客中 使用很少的数据构建图像分类模型 中提供的示例 这是代码 import numpy as np from keras preprocessing ima

  • 这是因为互斥量没有释放吗？

    我读过这个将我们的单线程服务器变成多线程服务器 https doc rust lang org book ch20 02 multithreaded html 并试图去实施它 我写了这个 use std sync mpsc channel

  • 如何 git tag 所有子模块？

    我想标记我的项目的所有子模块 我尝试这样做 git submodule foreach git tag tagName 但它似乎只是返回而没有错误 什么也没做 编辑 这是我尝试的结果 有人可以告诉我如何正确标记所有子模块吗 注意 这是一个非

  • 以小于帧大小的增量分页 UIScrollView

    我有一个滚动视图 其宽度与屏幕相同 但高度只有约 70 像素 它包含许多 50 x 50 的图标 周围有空间 我希望用户能够从中进行选择 但我总是希望滚动视图以分页方式运行 始终以图标停止在正中心 如果图标是屏幕的宽度 这不会成为问题 因为

  • Python 2 与 3 中的 Eval 范围

    我在 Python 3 中遇到了奇怪的 eval 行为 当在列表理解中调用 eval 时 不会拾取局部变量 def apply op x y z 0 5 0 25 0 75 op x y z return eval o for o in o

  • T-SQL DateDiff - 按“整小时前”分区，而不是“自 00 点后的分钟数”分区

    我有一个带有时间戳的表 我想将该表划分为一个小时的间隔 从现在开始向后几个小时 我无法使用 T SQL 获得所需的结果DATEDIFF http msdn microsoft com en us library ms189794 aspx函

  • 当文本设置为“归因”时，具有自定义字体的 UITextView 不起作用

    我有一个UITextView一些来自 rtf 的文本 直接粘贴到 Xcode 上 上下文仅包含一种自定义字体 Futura Book BT 11 0 如果我将 text attributed 属性设置为 plain 自定义字体从故事板和应用

  • 如何使用 gridview 内的 LinkBut​​ton 删除代码隐藏文件中选定的用户名？

    我的 JobPost mdf 中有一个 UserDetail 表 我有一个 Gridview1 显示 UserDetail 表中的列 该表具有主键 UserName 这个 UserName 最初是使用Membership类函数保存的 现在我

  • 是否有一种独立于平台的方式（Java？）来读取音频 CD 的目录？

    如果可能的话 我想避免使用本机库 当然 对于 Linux Windows 和 Mac OS X 来说 有更好的方法来解决这个问题 抱歉 你运气不好 您将需要 JNI 并且对于不同的平台它会有令人讨厌的不同 基础 Java 库涵盖了几乎通用的

  • Apache POI - 获取整数数字

    Apache POI 单元格值中的数字均以 Double 形式返回 当我做getCell toString 在 Excel 中显示为 123 的数字将转换为 123 0 我如何知道该数字应该显示为整数 我是否需要在 Java 中应用一些魔法

  • 在 folium 地图上绘制数据帧中的纬度经度点 - iPython

    我有一个带有纬度 经度坐标的数据框 latlon 51 249443914705175 0 13878830247011467 51 249443914705175 0 13878830247011467 51 24976823997686

  • 避免在继承的 java 类中进行强制转换

    我有一堂课 class MyClass public MyClass getParent public MyClass getChildren 和一个子类 MySubClass extends MyClass public String g

  • android 动态改变样式

    我已经在 styles xml 中描述了对象的属性 不管对象是什么 我想在 styles xml 中动态更改这些属性 有人知道我该怎么做吗 你可以这样做 活动中 this setTheme R style ThemeRed 在 styles

  • 如何在由knitr制作的HTML5幻灯片中使用“R生成”图作为半透明背景？

    我想在 HTML5 幻灯片的第一页添加一个绘图 我可以以动态的方式实现这一点吗 也就是说 背景图像将由 R 代码生成 而不是插入半透明的 PNG 图像 谢谢 Update 我想要的是 您可以使用块选项dev args为了达成这个 您需要正确

  • 什么是语句的不可达端点（unreachable endpoint）？

    受到这个问题的回答的启发 C 中 switch 的空情况是否与下一个非空情况合并 https stackoverflow com questions 15164318 is empty case of switch in c sharp c

  • 使用 wincertstore 的 Python 请求

    我试图通过 requests 包连接到我公司的内部网页 但由于 python 不使用 Windows 默认的受信任证书 因此连接被拒绝 我发现 wincertstore 可用于获取 Windows 默认证书 但我仍然不确定如何将其与我的请求

  • .NET / WPF 中的通用 JSON 解析器？

    我读过很多关于如何使用 DataContractJsonSerializer 将 JSON 对象反序列化为特定对象的教程 但是 我想将我的对象反序列化为由字符串 数组或字典组成的字典 例如当我说 JsonObject Parse myJSO

  • 在Python中分割字符串

    我有一个像这样的字符串 这是 括号测试 和引号测试 我正在尝试用 Python 编写一些内容 将其按空格分开 同时忽略方括号和引号内的空格 我正在寻找的结果是 this is 括号测试 和引号测试 这是一个适用于您的测试输入的简单解决方案

  • 如何在数据库中存储自定义用户字段

    我正在尝试找到一个教程来指导我基于用户的自定义字段如何工作 就像在调查网站中一样 它们允许用户创建自定义字段并存储它们 更重要的是存储通过这些字段输入的数据 我正在寻找一些描述如何在数据库上完成此操作的内容 我在寻找一种方法时遇到了一些麻烦

  • fwrite 对于大量小写入的效率

    我有一个程序可以使用以下命令保存许多 gt 1GB的大文件fwrite它工作得很好 但不幸的是由于每次调用的数据的性质fwrite只写1 4字节 结果 写入可能需要一个多小时 其中大部分时间似乎是由于系统调用开销 或至少在 fwrite 的

热门标签