程序员经验分享-hwhale

Go io.Pipe 的缓冲版本

2024-05-12

有缓冲版本吗io.Pipe https://golang.org/pkg/io/#Pipe（在标准库或第三方库中）在我推出自己的库之前？

上下文：我正在尝试使用这个解决方案 https://stackoverflow.com/a/36229262/1536933用于解析使用bzip2压缩的JSON数据，使得解压和解析并行进行，但发现加速很小。每百万条记录解析未压缩数据大约需要 22 秒。解压缩这么多数据大约需要相同的时间。正如预期的那样，在单线程上执行这些操作大约需要 44 秒。使用上述解决方案大约需要 41 秒。

io.Pipe 的文档说：

管道上的读取和写入是一对一匹配的，除非 需要多次读取才能消耗一次写入。也就是说，每个 写入 PipeWriter 块，直到满足一个或多个 从完全消耗写入数据的 PipeReader 中读取。这 数据直接从写入复制到相应的读取（或 读）；没有内部缓冲。

我怀疑这可能是一个问题，具体取决于 bzip2 解压缩器写入数据的方式以及 JSON 解析器读取数据的方式，所以我想尝试缓冲版本。


这就是bufio https://golang.org/pkg/bufio包是为了.它可以让你转动任何io.Reader进入缓冲阅读器NewReader https://golang.org/pkg/bufio/#NewReader，或任何io.Writer进入缓冲写入器NewWriter https://golang.org/pkg/bufio/#NewWriter.

（缓冲 IO 是否真的能帮助解决您的具体问题，我不知道......）

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

go

Go io.Pipe 的缓冲版本 的相关文章

随机推荐

  • 401 Unauthorized("detail":"未提供身份验证凭据。")

    我在后端使用 djoser 的身份验证 当我通过具有内容类型和授权标头的邮递员在 account me 发出获取请求时 我得到了正确的响应 但是当我尝试从我的角度客户端执行相同的请求时 我得到401 Unauthorized detail

  • .Net Core 中的脚手架以及解决方案中的多个项目

    我创建了一个针对 net461 的 Net Core MVC6 应用程序 我使用了一个我非常熟悉的项目结构 其中我将数据 模型和服务类放置在单独的类库项目中 并且 Web 项目引用这些项目 当我尝试搭建控制器时 我收到一条错误 指出我正在搭

  • __author__ 的起源是什么？

    使用私有元数据变量的约定在哪里 author 一个模块内部从何而来 This http mail python org pipermail python dev 2001 March 013328 htmlPython 邮件列表线程似乎暗示

  • 包含当月所有日期的 PHP 数组 [关闭]

    很难说出这里问的是什么 这个问题是含糊的 模糊的 不完整的 过于宽泛的或修辞性的 无法以目前的形式得到合理的回答 如需帮助澄清此问题以便重新打开 访问帮助中心 help reopen questions 我正在尝试并且仍然想知道如何获得一个

  • 如何使用 TS 配置 CRA 以支持 nullish-coalescing-operator

    所以我开始了一个新的 CRA 项目 我正在使用 TS beta 来获得一些不错的功能 例如链接运算符 但我也想使用nullish coalescing operator ifExists elseUseThis 不幸的是它不能开箱即用 并告

  • 有效的 URL 分隔符

    我有一个很长的 URL 其中包含多个值 示例1 http www domain com list seach type 0 search period 1 search min 3000 search max 21000 search ar

  • 如何扩展和重写集合类中的 Add

    背景 我在 PowerShell 中有一个具有 4 个属性的数据对象 其中 3 个是字符串 第 4 个是哈希表 我想安排一个新类型 将其定义为该数据对象的集合 在这个集合类中 我希望强制执行一种特定的格式 这将使我在模块中其他地方的代码更加

  • 如何让导航栏在向下滚动页面时改变颜色？

    我希望导航栏是透明的 但是当您向下滚动页面时 它会变为红色 div class nav div class container div class logo a href img src RepublicSquare logo svg st

  • zend框架找不到模型类？

    Yall 我有一个简单的问题 这可能是一个简单的配置问题 但是 我定义了一个模型 当我尝试从控制器访问它时 失败 模型位于模型目录中 当我查看快速启动应用程序时 看来这应该可行 这是我的模型 我的控制器停止了 这是控制器代码

  • std::string 在 Visual Studio 上的具体行为？

    我有一个项目需要读取 写入大文件 我决定使用 ifstream read 将这些文件一次性放入内存中 放入 std string 中 这似乎是在 C 中执行此操作的最快方法 http insanecoding blogspot com 20

  • 如何在 Node.js 中打开 Windows-1255 编码文件？

    我有一个 Windows 1255 希伯来语 编码的文件 我希望能够在 Node js 中访问它 我尝试使用打开文件fs readFile 它给了我一个Buffer我无能为力 我尝试将编码设置为Windows 1255 但这没有被识别 我还

  • 多个 scala 库导致 intellij 出错？

    我正在使用 intellij 14 和 scala 2 11 6 使用 homebrew 安装并使用符号链接 ln s usr local Cellar scala 2 11 6 libexec src usr local Cellar s

  • 为什么 Clojure MySQL 查询结果中出现“M”

    我有一个返回一行的 Clojure 查询 下面是返回行 映射 的部分打印输出 employer percent 0 00M premium 621 44M 这两列在mysql表中分别是decimal 5 2 和decimal 7 2 为什么

  • 如何使用 ReactJS 使表中的列可以以两种方式排序

    我正在 ReactJS 中构建一个简单的应用程序 它通过调用某个 API 来使用 JSON 数组 然后我将数组的结果填充到表中 我现在想让表的列可排序 我理想的情况是同时进行升序和降序排序 一旦我单击标题 当它按升序排序时 它应该按降序排序

  • 如何在 FastAPI Swagger API 中按方法类型对方法进行排序？

    如何在 FastAPI Swagger 自动文档中设置 API 方法的排序顺序 我希望所有方法按类型分组 GET POST PUT DELETE 这个答案 https stackoverflow com questions 24951268

  • 检查当前语言是否存在项目？

    我有一个 Sitecore 解决方案 其中启用了 3 种不同的语言 页面顶部有每种语言的链接 单击此链接后 您将获得当前所在页面 采用所选语言 但并非所有页面都被翻译成所有语言 因此 如果我站在英语页面 x 上 并且此页面仅提供英语和德语版

  • 如何将任务添加到 gradle 中的主要“构建”任务

    当我尝试使用以下代码将任务添加到主构建任务时 rootProject tasks getByName build dependsOn mytask 当我跑步时它抱怨gradle w build输出 Where Build file line

  • Laravel中with()和compact()有什么区别

    功能有什么区别with and compact 在 Laravel 中这两个例子 示例1 return View make books index gt with booksList booksList 示例2 return View ma

  • 标头和 cookie 中的 CSRF 令牌在请求中不匹配

    我正在实现一个无状态 API 我的组织表示我需要防止 CSRF 攻击 我在网上找到了这个人的解决方案 并决定尝试实施仅客户端的方法 http blog jdriven com 2014 10 stateless spring securit

  • Go io.Pipe 的缓冲版本

    有缓冲版本吗io Pipe https golang org pkg io Pipe 在标准库或第三方库中 在我推出自己的库之前 上下文 我正在尝试使用这个解决方案 https stackoverflow com a 36229262 15

热门标签