程序员经验分享-hwhale

在MySQL中实现大量数据快速插入的最佳方法是什么？

2023-11-27

我用 C 编写了一个程序来解析大型 XML 文件，然后使用插入语句创建文件。其他一些进程会将文件摄取到 MySQL 数据库中。 这些数据将作为索引服务，以便用户可以轻松查找文档。

我选择InnoDB是因为它具有行级锁定的能力。 C 程序将在给定调用中生成 500 到 500 万条插入语句。

尽快将所有这些数据存入数据库的最佳方法是什么？另一件需要注意的事情是数据库位于单独的服务器上。是否值得将文件移至该服务器以加快插入速度？

编辑：该表不会真正更新，但行将被删除。


  • 使用 mysqlimport 工具或 LOAD DATA INFILE 命令。
  • 暂时禁用数据完整性不需要的索引
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

mysql

performance

loaddatainfile

insert

在MySQL中实现大量数据快速插入的最佳方法是什么？ 的相关文章

  • 如何在SQL中查找单元格中的重复单词

    我有一个名为 situation 和 entityid 的列 Entityid Situation 1234 In the the world of of 3456 Total universe is is a 任何人都可以给我查询以找到这

  • 系数函数速度慢

    请考虑 Clear x expr Sum x i i 15 30 CoefficientList expr x Timing Coefficient Expand expr x 234 Timing Coefficient expr x 2

  • 将 php filter_var 与 mysql_real_escape_string 结合使用

    我想首先说 我意识到 PDO mysqli 是新标准 并且已被 SO 广泛覆盖 然而 在这种特殊情况下 我没有时间在启动客户端站点之前将所有查询转换为 PDO 以下内容已在网站上的大多数查询中使用 我可以补充一下 这不是我所使用的 user

  • 启动服务器后，带有sequelize的Nodejs无法在mysql工作台中创建表

    我开始学习如何使用构建 Rest APINodejs Expressjs Sequelize and MySQL using Mysqlworkbench 我的问题 启动服务器后 该表不是由Sequelize并且没有表Mysqlworkbe

  • 是否有工具可以将 Neo4j 图转储为 Cypher 并从 Cypher 重新加载它？

    每个熟悉 MySQL 的人都可能使用过 mysqldump 命令 它可以生成代表 MySQL 数据库中的架构和数据的 SQL 语句文件 这些 SQL 文本文件通常用于多种用途 备份 播种副本 在安装之间复制数据库 将产品数据库复制到临时环境

  • 主机 localhost 不允许连接到此 MySQL 服务器 [关闭]

    Closed 这个问题不符合堆栈溢出指南 help closed questions 目前不接受答案 我不小心删除了我的用户表 删除了所有用户 现在每当我尝试访问我的数据库时 它都会说 主机本地主机不允许连接到此 MYSQL 服务器 我试过

  • Python（和 Java）中最快的数据打包

    Sometimes http www codinghorror com blog 2009 01 the sad tragedy of micro optimization theater html our host is wrong na

  • 使用 PHP 将文件上传到 MySql DB

    我希望用户通过我在后端使用 MySql 用 PHP 开发的 web 应用程序上传文件 我想将文件存储在数据库中 我在这样做时遇到了问题 此外 一旦文件存储在数据库中 我们如何下载它 并在 web 应用程序中正确显示它 文件类型和文件的其他属

  • 如何获取 JDBC 中 UPDATE 查询影响的所有行？

    我有一项任务需要使用更新记录PreparedStatement 一旦记录被更新 我们知道更新查询返回计数 即受影响的行数 但是 我想要的不是计数 而是受更新查询影响的行作为响应 或者至少是受影响的行的 id 值列表 这是我的更新查询 UPD

  • pyodbc 无法正确处理 unicode 数据

    我确实使用 pyodbc 成功连接了 MySQL 数据库 并且它可以很好地处理 ascii 编码的数据 但是当我打印使用 unicode utf8 编码的数据时 它引发了错误 UnicodeEncodeError ascii codec c

  • mysql 中 INSERT 语句的计算列

    假设我想要一个表来记录其他表中的日期和列数 或者任何类型的数学 字符串连接等 CREATE TABLE log id INTEGER NOT NULL AUTO INCREMENT date DATETIME NOT NULL count

  • 如何查找所有mysql表之间的所有关系？

    如何找到MySQL所有表之间的所有关系 例如 如果我想知道大约有 100 个表的数据库中表的关系 有什么办法知道这个吗 从编程角度来说 更好的方法是从以下位置收集数据 INFORMATION SCHEMA KEY COLUMN USAGE表

  • 级联删除时触发调用

    我在 MySQL 中有表 A 它有一些对其他表 B C D 的级联删除的引用 当从 A 中删除某些内容时 我需要使用触发器 当我直接从 A 删除记录时 此触发器起作用 但它不适用于级联删除 是否存在任何版本的 MySQL 可以让我的触发器与

  • VIEW for 表结合 UNION ALL 的 MySQL 性能

    假设我有 2 张桌子MySQL create table persons id bigint unsigned not null auto increment first name varchar 64 surname varchar 64

  • SQL 查询结果为字符串（或变量）

    是否可以将SQL查询结果输出到一个字符串或变量中 我的php和mysql不好 假设我有数据库 agents 其中包含列 agent id agent fname agent lname agent dept 使用此查询 sql SELECT

  • 重用 PDO 语句 var 会使进程崩溃

    我重用一个变量来存储两个不同的 PDO mysql 语句 stmt dbh gt prepare SELECT stmt gt execute stmt dbh gt prepare UPDATE crash here Error in o

  • 如何优化 R 中的 sapply 来计算数据帧上的运行总计

    我在 R 中编写了一个函数来按月份计算累积总数 但随着数据集变大 我的方法的执行时间呈指数增长 我是一名 R 程序员新手 你能帮我提高效率吗 该函数以及我调用该函数的方式 accumulate lt function recordnum d

  • MySQL如何从多个表中获取数据

    我正在寻找 php MySQL jquery 的帮助 我有2张桌子 table1表 1 有 4 列 id 标题 desc thumb img tabel2表 2 有 3 列 id 表 id img 我只想将 2 个表与 get QS 的值进

  • mysql_query 保留返回时在表中创建的数据类型？

    我在mysql中有一个表 CREATE TABLE user id INT name VARCHAR 250 我查询表 result mysql query SELECT id name FROM user 我收集结果 while row

  • Unicode（希腊语）字符存储在数据库中，例如“??????”

    数据库中的希腊字符就像问号 我找不到解决办法 我使用 Java Swing 开发了一个应用程序 但是当我在 MySQL 中插入希腊字母时 就像问号一样 我将数据库排序规则更改为 utf8 并将列也更改为 utf8 我的项目编码设置为UTF

随机推荐

  • Paho MQTT Android 服务问题

    我正在我正在开发的应用程序中实现 Paho MQTT Android 服务 在测试了 Paho 提供的示例应用程序后 我发现有一些我想要更改的内容 https eclipse org paho clients android 一旦应用程序完

  • 如何使用动画为搜索栏添加动画

    我是安卓新手 我正在尝试为水平搜索栏设置动画 但到目前为止还无法做到 我只想要一个动画 其中搜索栏显示某个持续时间 例如 1 分钟 的进度 有人可以建议 给出关于如何为标准搜索栏设置动画的想法 代码片段吗 我应该使用哪种动画 例如 obje

  • 在 PHP 中，如何添加到零填充数字字符串并保留零填充？

    如果我在 PHP 中有一个变量包含0001我加 1 结果是 2 而不是0002 我该如何解决这个问题 foo sprintf 04d foo 1

  • 应用程序确实收到本地通知未触发 iOS 7

    问题 void application UIApplication application didReceiveLocalNotification UILocalNotification notification 有时在 iOS 7 中不会

  • 如何在 pandas groupby 中聚合多列

    我使用以下输入创建了一个 pandas 数据框 mn keyA state n1 n2 d1 d2 key1 CA 100 1000 1 2 key2 FL 200 2000 2 4 key1 CA 300 3000 3 6 key1 AL

  • R重命名函数中传递的列

    我一直在寻找这个并发现这个链接有助于重命名函数中传递的列 column name 实际制作的代码my function1在我寻找了一段时间后工作 有没有办法使用管道运算符来重命名函数内数据框中的列 我的尝试显示在my function2但它

  • Ubuntu 上的 ASP.Net Core 应用程序服务仅侦听端口 5000

    我正在尝试在 Ubuntu 服务器上托管 ASP Net Core MVC 应用程序 启用了 https 重定向 使用 Nginx 作为反向代理 我已使用 OpenSSL 创建并安装了本地 SSL 证书 当我使用 dotnet CLI 运行

  • 为什么 Web 部署代理服务监听端口 80 和 8172

    在四个 Win Server 2008 R2 机器上 我们安装了 MS Deploy 它侦听端口 80 和 8172 这使人们对网络上有关在 IIS 7 上运行时无需更改端口 80 默认值的所有其他材料产生疑问 我无法理解 为什么它使用两个

  • std::move 如何将表达式转换为右值？

    我不完全理解的实现std move 也就是说 我对 MSVC 标准库中的这种实现感到困惑 template

  • 使用 php 在文本文件中搜索短语/单词

    我如何扫描目录中的特定文本行并使用 php 列出所有匹配的文件 Thanks 几天前我实际上为此编写了一个函数 这是扫描每个文件的基本函数 foreach glob

  • Haskell 中无限列表的笛卡尔积

    我有一个有限列表的函数 gt kart a gt b gt a b gt kart xs ys x y x lt xs y lt ys 但如何实现它infinite清单 我听说过一些关于康托尔和集合论的事情 我还发现了一个类似的功能 gt

  • 如何优化此 Python 代码（来自 ThinkPython，练习 10.10）

    我正在通过艾伦唐尼工作如何像计算机科学家一样思考 并且我已经为练习 10 10 编写了我认为功能正确的解决方案 但运行只花了 10 多个小时 所以我想知道我是否错过了一些非常明显且有用的优化 这是练习 如果从每个单词中交替取字母形成一个新单

  • 从 iframe 外部调用 javascript 函数

    我在 iframe 中有一个完整的 html 打开 其中包含 javascript 函数 getData 现在我不确定如何从该框架外部调用 getData 是否可以从外部 javascript 文件调用它 您可以从 window frame

  • 向公众公开 Firebase apiKey 是否安全？

    The Firebase Web 应用程序指南状态我应该把给定的apiKey在我的 Html 中初始化 Firebase TODO Replace with your project s customized code snippet

  • jquery 重新排序 div

    我有 3 个 div 想要反转文档准备好的顺序 div First div div Second div div Third div 我怎样才能在 jquery 中做到这一点 div div First div div Second div

  • 将十六进制字符串转换为 IP 地址

    我想将字符串值 十六进制 转换为 IP 地址 我该如何使用 Java 来做到这一点 十六进制值 0A064156 IP 10 6 65 86 This site给了我正确的结果 但我不确定如何在我的代码中实现它 可以直接在 XSLT 中完成

  • 将元组添加到集合中不起作用

    scala gt val set scala collection mutable Set Int Int set scala collection mutable Set Int Int Set scala gt set 3 4

  • C# 遍历类属性

    我目前正在设置类对象的所有值Record 这是我目前用来逐个属性填充记录的代码 Loop through each field in the result set for int i 0 i lt resultItems Length i

  • PHP：如何清理上传的文件名？

    我有一个 PHP 应用程序 我允许用户将文件上传到我的网络应用程序 Question 对我来说清理上传文档的文件名的最佳方法是什么 FILES filename tmp name in PHP UPDATE 我可以获取上传文件名的 MD5

  • 在MySQL中实现大量数据快速插入的最佳方法是什么？

    我用 C 编写了一个程序来解析大型 XML 文件 然后使用插入语句创建文件 其他一些进程会将文件摄取到 MySQL 数据库中 这些数据将作为索引服务 以便用户可以轻松查找文档 我选择InnoDB是因为它具有行级锁定的能力 C 程序将在给定调

热门标签