程序员经验分享-hwhale

MONGODB Mongoimport 可能加速吗？

2023-12-25

我有一个 2 GB 的 CSV 文件，其中包含 9 M 条记录，我使用本机 mongoimport 工具将其导入到 MongoDB 中。它以每秒 8K 的速率导入 CSV。总时间为 10 分钟。导入速度相当合理，但似乎比MySQL LOAD DATA INFILE版本慢很多（只需2分钟即可将所有记录插入数据库）。虽然这是可以接受的（MongoDB 是为 JSON 类型对象构建的，加速通常是在查询而不是插入中），但我想知道是否有某种方法可以加快 MongoDB mongoimport 中每秒完成的插入数量？ 我只有一台 8 GB RAM 和 4 核的计算机。 谢谢。


由于大部分时间可能都花在将 JSON 对象序列化为 BSON（原生 MongoDB 格式）上，如果您可以拆分文件并拥有多个并行作业，每个作业都使用单独的文件运行 mongoimport，那么您可能会获得更快的导入速度。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

mysql

MongoDB

csv

mongoimport

MONGODB Mongoimport 可能加速吗？ 的相关文章

  • 如何在会话过期后自动更新数据库而不刷新我的页面

    您需要刷新或单击该代码 然后它才会转到索引页面 并且在会话过期后更新数据库之前 如何让会话过期后自动更新数据库 使用户活跃度为0 而无需刷新或点击页面 idletime 3600 after 1hr the user gets logged

  • 找不到模块：错误：与 webpack 捆绑时无法解析模块“模块”mongodb

    当我尝试在节点应用程序中使用 mongoose connect 时 Webpack 抛出以下错误 最初还有一些错误 例如 Module not found Error Cannot resolve module fs 在我的 webpack

  • 如何使用匹配、排序和限制对 MongoDB 聚合进行排序

    我当前的聚合是 db group members aggregate match user id in 1 2 3 group id group id sort last post at 1 limit 5 对于以下文档结构 id user

  • Mongodb $addToSet 嵌套对象

    我正在尝试更新嵌套在另一个哈希下的数组对象 IE name mike instagram id 3423 slug mike photos 现在我想使用 addToSet 附加到 instagram 照片对象 但我不知道如何操作 这可以将照

  • 数据库记录的多级菜单

    我需要一些有关 PHP 的帮助 我有一个工作正常的多级 css 菜单 但现在我想根据数据库中的记录生成 菜单代码 div ul class dropdown li a href Link 1 a li li a href Link 2 a

  • Hibernate统计打印HQL：null

    我是使用休眠的新手 我打开了统计信息 与普通的 HQL 查询一起 我得到了许多这样的统计信息 INFO Statistics HQL null time 1724ms rows blah 有人可以以任何方式帮助我为什么null查询大约需要

  • 使用 mongoDB 插入子文档

    我收集了以下文件 id 2 workspace name 1 widgets name 2 widgets name 3 widgets name 4 widgets 我怎样才能插入 id 1 blabla blabla 在 小部件 中的

  • 如果数据库关闭一段时间，MongoDB 会更改流超时

    我在nodejs中使用mongoDB更改流 一切正常 但如果数据库关闭需要超过10 5秒才能启动更改流会引发超时错误 这是我的更改流观察程序代码 Service prototype watcher function db let colle

  • mysql 中的 SELECT UNION 和 ORDER BY.. 如何？

    我想从单个表中获取所有行 但以不同的方式对它们进行排序 例如我写 SELECT FROM table1 ORDER BY fieldA ASC LIMIT 3 UNION SELECT FROM table1 ORDER BY FieldB

  • PHP - 简单嵌套无序列表 (UL) 数组

    我在 stackoverflow 上看到了这个嵌套 UL 数组问题的一些变体 但我认为我的比其他问题更简单 我正在寻找一个简单的数组循环 它允许无限量的主题 父项 和无限量的项目 子项 例如 ul li Topic li ul li Ite

  • MySQL 外键，无法创建表（错误号：150）

    我正在尝试为我的系统构建数据库和表 但我发现如果我不在代码中添加外键 没有错误 我使用了很多方法尝试使代码正常工作 但仍然有错误 我使用的是MySQL 5 5 31 代码如下 创建数据库服务条款 DROP TABLE TOS USER CA

  • 如何配置 Spring boot 以使用两个数据库？

    我在用春季启动 2 X with 休眠5连接两个不同的 MySQL 数据库 Bar 和 Foo 在不同的服务器上 我试图列出一个实体的所有信息 自己的属性和 OneToMany and ManyToOne关系 来自 REST 控制器中的方法

  • 哈希索引和升序索引之间的 Mongodb 性能差异（有什么理由不在无序字段中使用哈希？）

    mongodb中有多种类型index http docs mongodb org manual core index types 对于这个问题我感兴趣的是升序 或降序 索引 http docs mongodb org manual core

  • 如何将mysql的默认端口从3306更改为3360

    我想更改MySQL服务器的默认端口号 目前它是3306 我想将其更改为3360 我努力了 port 3360 但事情对我不起作用 请提供更改端口的查询 而不是任何配置 我使用的是 Windows 8 64 位 您需要编辑您的my cnf文件

  • SQL仅选择列上具有最大值的行[重复]

    想要改进这篇文章吗 提供此问题的详细答案 包括引用和解释为什么你的答案是正确的 不够详细的答案可能会被编辑或删除 这个问题在这里已经有答案了 我有这个文件表 这里是简化版本 id rev content 1 1 2 1 1 2 1 3 如何

  • 如何在 Spring Data MongoDB 中仅返回查询的特定字段？

    我们如何在 Spring Data Mongo 中选择特定字段 我尝试了以下操作 但我得到了强制转换异常Foo to String Using Query Query value path 0 fields path 0 String fi

  • 在准备好的语句中使用“like”通配符

    我正在使用准备好的语句来执行 mysql 数据库查询 我想实现基于某种关键字的搜索功能 为此我需要使用LIKE关键字 我知道的就这么多 我以前也使用过准备好的语句 但我不知道如何使用它LIKE因为从下面的代码中我将在哪里添加 keyword

  • SELECT MySQL 字段包含子字符串[重复]

    这个问题在这里已经有答案了 使用 LIKE 在 MySQL 中非常常见 我们这样使用它 WHERE field LIKE substring 我们有一个子字符串 并且字段有完整的字符串 但我需要的是相反的东西 我在字段中有子字符串 所以 我

  • 主键与主键

    创建包含数据库结构的 mysql 转储时 其中一张表显示以下内容 CREATE TABLE completedTransactions paymentId int 10 unsigned NOT NULL timestamp int 15

  • MySQL 将 COMMENT 添加到外键

    我正在将旧数据库 SyBase 转换为 MySQL 并且有以下 DDL 查询 ALTER TABLE DBA tab prodotto ADD FOREIGN KEY fkey idlinea tpr idlin REFERENCES DB

随机推荐

  • Google Sheets - 当文件名相同时，脚本为“替换”而不是“创建”

    编辑以尝试使其更容易理解 这是我所做的 我创建了一个 Google 电子表格 我创建了一个脚本 使用基于服务日期和客户名称的文件名将其保存到 Google 云端硬盘文件夹中 这是我目前拥有的脚本 This creates a custom

  • 使用 DOMDocument，是否可以获取某个 DOM 中存在的所有元素？

    假设我有一个包含许多不同元素的 HTML 文件 每个元素都有不同的属性 假设我事先不知道这个 HTML 会是什么样子 使用 PHP 的 DOMDocument 我如何迭代ALL元素并修改它们 我看到的只是 getElementByTagNa

  • 如何使用多个表插入数据

    我创建了一个数据库名称电影库系统 其中有 3 个表 分别是类型 发行商和电影 现在 1 个发行商可以有很多电影 而 1 部电影有多种类型 在电影表中 发行商 id 和 typeid 充当外键 我的问题是如何将数据插入到电影表中 我已经将数据

  • 折叠一个布局，但将另一个布局保留在底部

    我有这样的布局 没有颜色 https i stack imgur com OdSda png https i stack imgur com OdSda png 选项卡的布局 单独的 xml 文件 relativelayout 1 围绕其他

  • 在scala中创建多维数组

    我正在解析这样的 json 对象 val product array Option Any scala util parsing json JSON parseFull products json var product array2 Ar

  • 当值具有实体时，Selenium WebDriver get_attribute 返回 href 属性的截断值

    我正在尝试使用 selenium Webdriver Python 从应用程序页面上的锚点选项卡获取 href 属性值 并且返回的结果已被剥离 这是 HTML 片段 a class nla row text href shopping br

  • 有效计算两个 std::multimap 迭代器之间的条目数

    我想计算两个迭代器之间的条目数std multimap在不到 O N 的时间内 有什么技巧或巧妙的方法可以做到这一点吗 Since std multimap有双向迭代器 我的理解是这样的std distance可以在 O N 时间内完成 其

  • 自举流体和静态容器

    我正在尝试在单页引导布局中将流体容器与固定容器结合起来 我想要的是 例如 有一个大图像作为英雄单元 但不是英雄单元 视口的 100 宽度 高度 或者 3 列图像除以 100 但在其他情况下 在同一页面内 它将具有最大 1200px 容器以及

  • JavaScript 代码约定 - 变量声明 [关闭]

    就目前情况而言 这个问题不太适合我们的问答形式 我们希望答案得到事实 参考资料或专业知识的支持 但这个问题可能会引发辩论 争论 民意调查或扩展讨论 如果您觉得这个问题可以改进并可能重新开放 访问帮助中心 help reopen questi

  • PHP中有pdf模板的解决方案吗？

    我需要通过 PHP 生成 pdf 格式的报价 并使用模板和从数据库检索的动态值 它可行吗 更新 我看到人们最近对此表示赞同 并想补充一点wkhtml转pdf http code google com p wkhtmltopdf对于大多数应用

  • pymssql 抛出 ImportError: 使用 py2exe 构建应用程序时没有名为 _mssql 的模块

    我有 python 应用程序应该作为 Windows 可执行文件启动 我正在使用 py2exe 和 pymssql 1 9 908 我使用下一个构建脚本来生成应用程序 from distutils core import setup imp

  • 使用具有相同控制器的 STI 路径

    我正在使用 STI 想知道是否必须为每个型号配备单独的控制器 我遇到了一种情况 我只对 STI 关系中的一个模型使用创建和编辑操作 但如果我尝试为其创建表单 则会收到 未定义方法 错误 更具体地说 我有两个继承自 List 的模型 clas

  • Emacs lisp 计算 alist 中的变量

    这是一个后续问题Emacs Lisp 评估列表中的变量 https stackoverflow com questions 1664202 emacs lisp evaluate variable in alist 我正在尝试设置defau

  • Android中动态设置TextView的宽度和高度

    我正在尝试动态设置 TextView 宽度 使用setWidth width method txtviewOne setWidth 10 txtviewTwo setWidth 10 但没有成功 请帮助我如何动态设置textview的宽度

  • Python的collections.Counter和nltk.probability.FreqDist之间的区别

    我想计算文本语料库中单词的术语频率 我已经使用 NLTK 的 word tokenize 和probability FreqDist 一段时间来完成这项工作 word tokenize 返回一个列表 通过 FreqDist 将其转换为频率分

  • 在android中复制列表项

    我找到了一个示例 它在列表视图中显示所有联系人 并让您呼叫单击的联系人 但是 我只想复制联系电话放在剪贴板上 并在选择列表项时显示 toast public class ContactListActivity extends Activit

  • Ansible：检查服务是否正在侦听特定端口

    您将如何使用 Ansible 来确认服务是否正在特定端口上运行 例如 Apache 是否在端口 80 上运行 MySQL 是否正在监听 3912 端口 Tomcat 正在监听 8080 端口吗 据我了解 有service and wait

  • 外部接口和 Internet Explorer 9 问题

    天哪 我讨厌外部接口吗 我有一个视频播放器 它利用外部接口来控制 Flash 对象并允许 Flash 对象将消息传递给相同的 JavaScript 有一段时间它在所有浏览器中都运行良好 然后几天前 在我将项目移出开发之前 我去所有浏览器中测

  • 在 IntelliJ“新项目”>“Maven”选项卡中更新 Maven 原型列表

    如何更新 IntelliJ IDEA 版本 2017 2 中 新建项目 对话框中列出的 Maven 原型列表 手动触发Maven缓存更新 IntelliJ 2017 2 与 Maven 相比并不那么 智能 您必须手动调用列出原型的存储库信息

  • MONGODB Mongoimport 可能加速吗？

    我有一个 2 GB 的 CSV 文件 其中包含 9 M 条记录 我使用本机 mongoimport 工具将其导入到 MongoDB 中 它以每秒 8K 的速率导入 CSV 总时间为 10 分钟 导入速度相当合理 但似乎比MySQL LOAD

热门标签