程序员经验分享-hwhale

MySQL Workbench 连接到 AWS 上的 RDS 数据库实例时执行的任何操作都会出现极大延迟

2024-04-04

首先，我完全意识到 Stack Overflow 本身可能不是一个理想的子论坛来问这个问题，但我问了我的教授，他告诉我去问 Bing AI，而 Bing AI 告诉我在这里问这个问题，所以如果还有其他一些特定的子论坛会更好，请在评论或答案中告诉我。

我是乔治梅森大学数据分析工程硕士项目中研究生团队的一员，我们需要使用为我们提供的团队 Amazon Web Services 帐户以及使用 AWS 设置数据库实例时RDS服务，我经历过执行速度极慢的情况。当我说“极端”时，我的意思是表数据导入向导导入/加载 639 KB csv 文件需要几个小时！

我已经使用笔记本电脑上的本地版本的 MySQL Server 和 Workbench 编写了我们需要的两个 SQL 脚本来测试一切是否正常，现在我需要的只是在笔记本电脑上的 MySQL Workbench 应用程序与 RDS 数据库实例之间建立连接以合理的速度执行。我创建的第一个实例是在 Size/Class db.t3.micro（最初）的 MySQL 社区引擎上运行的可公开访问的单个 RDS 数据库实例。将其连接到 Workbench 后，我发现使用表数据导入向导导入/加载 3 个源数据集时存在延迟：Airports.csv、Airport_Schedules.csv 和 Runway.csv（所有这三个数据集以及两个 MySQL 脚本文件都可以在我们团队的GitHub 存储库 https://github.com/ssakumar/AgniFuego对于这个项目）是高得惊人。因此，我通过将其类从 db.t3.micro（仅具有 1 GB RAM）升级到具有 4 GB RAM 的 db.t3.medium 来提高其处理能力，但这根本没有改善运行时间。当尝试在 GitHub 上使用此连接时，我还在名为“aws-mysql-rds-db-error-running”的 Zip 文件中上传了所有日志。日志'。

从那里开始，我像第一次尝试解决方案一样，通过逐步尝试不同的可能解决方案来增加 RAM，但一次只尝试每个解决方案，这是非常重要的，所以我绝对确保只测试每个解决方案在尝试另一个改变之前，先进行新的改变。我的下一个更改是创建一个新的 RDS 数据库实例，但这一次，我将其创建为多可用区数据库集群（但大小仍然只有 db.t3.medium，即创建的三个实例各有 4 GB RAM）。不幸的是，一旦我将它连接到 MySQL Workbench，它就和其他数据库实例一样慢，因此从那里开始，我将该集群中所有 3 个实例的大小增加到 db.m5d.xlarge（16 GB RAM），但是巨大的延迟仍然存在。

此时，我启动了备份笔记本电脑，安装了 MySQL Server、Workbench 以及 Developer 安装选项附带的其余内容，然后使用我的新本地 MySQL Workbench 应用程序建立了与这两个 RDS MySQL 数据库实例的连接。那台笔记本电脑和那台笔记本电脑上的执行仍然一样慢！我在这里没有想法，请提供任何建议，如果你自己不知道答案，我已经问过 Chat GPT 和 Bings Chat AI 升级 Chat GPT，但它的建议都不起作用任何一个。

我是否应该尝试在 RDS 上创建 Aurora MySQL 数据库实例，并尝试在该实例与我的本地 MySQL Workbench 应用程序之间建立连接？


是的，MySQL Workbench 在导入 CSV 数据方面表现得非常糟糕。这一直是多年来的痛点。 MySQL（Oracle 公司）已记录错误，但没有任何变化。

忘记使用 MySQL Workbench 进行批量数据导入。这不起作用。我不使用 MySQL Workbench，也不知道有任何专业的 MySQL 开发人员或 DBA 使用它。

它不仅比应有的速度慢几个数量级，而且用户报告它无法导入输入 CSV 文件中的所有行。实际上，MySQL Workbench 没有可行的导入功能。

相反，您可以使用命令行工具mysql导入 https://dev.mysql.com/doc/refman/8.0/en/mysqlimport.html或等效的 SQL 语句加载数据本地内嵌文件 https://dev.mysql.com/doc/refman/8.0/en/load-data.html。这些技术成熟、高效且速度更快。

您可能也喜欢我的演示加载数据快！ https://www.slideshare.net/billkarwin/load-data-fast对于MySQL。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

mysql

amazonwebservices

Runtime

amazonrds

latency

MySQL Workbench 连接到 AWS 上的 RDS 数据库实例时执行的任何操作都会出现极大延迟 的相关文章

  • 在 AWS Glue 中覆盖动态框架中的镶木地板文件

    我使用动态框架在 S3 中写入镶木地板文件 但如果文件已存在 我的程序会附加一个新文件而不是替换它 我用的句子是这样的 glueContext write dynamic frame from options frame table con

  • AWS CloudSearch：1 个域中的不同文档？

    我有兴趣在我的 Web 应用程序中使用 AWS Cloud Search 我想要将 3 种不同的文档类型设为可搜索 用户 文章 图像 使用 Cloud Search 执行此操作的最佳方法是什么 我需要创建 3 个不同的 AWS 搜索域吗 这

  • 创建 MySQL 用户时使用 % 表示主机

    我的 MySQL 数据库需要两个用户 appuser 和 support 一位应用程序开发人员坚持要求我为这些用户创建四个帐户 appuser appuser localhost support support localhost 我一生都

  • 在 PHP / MySQL 中处理未读帖子

    对于个人项目 我需要使用 PHP 和 MySQL 构建一个论坛 我不可能使用已经构建的论坛包 例如phpBB 我目前正在研究构建此类应用程序所需的逻辑 但这已经是漫长的一天了 我正在努力解决为用户处理未读帖子的概念 我的一个解决方案是有一个

  • 如何列出允许登录mysql的ip？

    我知道使用下面的命令 可以允许远程IP登录MySQL GRANT select insert update delete ON TO root my ip IDENTIFIED BY my password FLUSH PRIVILEGES

  • 我的表是什么 ROW_FORMAT？

    我发现MySQL有多行格式 http dev mysql com doc refman 5 1 en data size html 并且可以指定或更改它 另外 默认的 ROW FORMAT 显然随着 MySQL 版本的变化而改变 这是可以理

  • 在 EB 上的 Docker 中运行的应用程序拒绝连接到自身

    我有一个 Play 2 Web 应用程序 我使用 Docker 将其部署到 Elastic Beanstalk 在此 Web 应用程序中 我启动了一个 Akka 集群 启动过程涉及将自动伸缩组中的所有节点添加为种子节点 包括其自身 第一次部

  • MySQL中的字符串分割函数

    谁能告诉我如何在 mysql 中实现 split 函数 其行为类似于 Javascript split 我想要一个这样的功能 SELECT Split a b c d AS splitted 结果如下 splitted a b c d 有谁

  • 将 mysql 查询输出存储到 shell 变量中

    我需要一个变量来保存从数据库检索的结果 到目前为止 这基本上是我正在尝试但没有成功的事情 myvariable mysql database u user p password SELECT A B C FROM table a 正如你所看

  • 在哪里可以找到 AWS Amplify Logger 日志

    我目前正在开发一个使用 AWS Amplify 创建的 Web 应用程序 我必须在其中实现日志记录 基于AWS 放大文档 https docs amplify aws lib utilities logger q platform js有一

  • AWS SAM - 无法创建变更集：Waiter ChangeSetCreateComplete 失败

    AWS SAM 使用 aws sam cli 将代码库部署到 AWS 云 但出现以下错误 Failed to create the changeset Waiter ChangeSetCreateComplete failed Waiter

  • 当我将 xx 添加到 mysql float 列时，结果错误，这是一个错误吗？

    我的mysql 5 6 16 我的餐桌信息 CREATE TABLE xxx uid int 11 NOT NULL money float 10 2 NOT NULL DEFAULT 0 00 real money float 10 2

  • CORS 击败 AWS LAMBDA :(

    我读了很多关于 CORS Lambda AWS API Gateway 配置的文章 包括 AWS 的设置帮助 http docs aws amazon com apigateway latest developerguide how to

  • 为什么我们要关闭 Mysqli 中的结果

    为什么我们要关闭 result mysqli new mysqli localhost root root test if mysqli gt connect errno echo Failed to connect to MySQL my

  • Hibernate、MySQL 视图和 hibernate.hbm2ddl.auto = 验证

    我可以在 Hibernate 中使用 MySQL 视图 将它们视为表 即 该实体与为表创建的实体没有什么不同 但是 当 Hibernate 设置为验证模型时 我的应用程序将不会部署 因为它找不到视图 因为它假设它是一个表 是否可以在启用部署

  • 提高mysql导入速度[关闭]

    Closed 这个问题是与编程或软件开发无关 help closed questions 目前不接受答案 我有一个很大的数据库22GB 我曾经用过进行备份mysqldumpgzip 格式的命令 当我提取 gz 文件时 它会生成 sql文件的

  • REPLACE MYSql 中的新行字符不起作用

    我执行了以下查询 由于某种原因它没有替换数据库中的换行符 它说 Rows matches 1 但没有变化 有什么问题吗 mysql gt UPDATE aboutme SET abouttext REPLACE abouttext n WH

  • mysql - 有什么方法可以帮助使用另一个索引进行全文搜索？

    假设我有一个 文章 表 其中包含以下列 article text fulltext indexed author id indexed 现在我想搜索特定作者撰写的文章中出现的术语 所以像这样 select from articles whe

  • MySQL 性能 DELETE 或 UPDATE？

    我有一个超过 10 7 行的 MyISAM 表 向其中添加数据时 我必须在最后更新 10 行 删除它们然后插入新行更快 还是更新这些行更快 应更新的数据不是索引的一部分 索引 数据碎片怎么样 UPDATE到目前为止要快得多 当你UPDATE

  • 在 ADO 查询 (mysql/MyConnector) 中使用参数

    今天我下载并安装了 MyConnector 这样我就可以通过 ADO 使用 Mysql 一切都安装好了 我可以与 ODBC 连接并从我的 delphi 环境进行连接 当我在运行时构建查询时 我收到一条错误消息 项目 Project1 exe

随机推荐

热门标签