程序员经验分享-hwhale

将 Google Cloud SQL 备份上传到 Bigquery

2023-12-30

我在尝试将 Google Cloud SQL 数据库迁移到 BigQuery 时遇到了麻烦。我已将数据库备份从 Cloud SQL 导出到 Cloud Storage，但在尝试将其导入 BigQuery 时，出现错误：“未找到：GS:// 的 URI”存储桶名称/文件名

我想做的事情可能吗？我希望以某种方式直接将 Cloud SQL 数据上传到 BigQuery。这是一个很大的表 (>27GB)，而且我在使用 Cloud SQL 时遇到了很多连接问题，因此导出为 CSV 或 JSON 并不是最佳选择。


BigQuery 不支持 mysql 备份格式，因此最好的方法是从云 SQL 数据库生成 csv 或 json，并将这些文件保存到云存储中。

有关导入数据的更多信息可以在BigQuery 文档 https://cloud.google.com/bigquery/docs/loading-data.

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

googlebigquery

将 Google Cloud SQL 备份上传到 Bigquery 的相关文章

  • 如何在标准 SQL 中使用 Unicode 规范化删除变音符号（例如重音符号）？

    如何使用新功能从 BigQuery 中的字符串中删除变音符号normalize https cloud google com bigquery docs reference standard sql functions and operat

  • 大查询中有没有办法执行动态查询，例如sql server中的“EXEC”？

    我有一个包含 200 多个列名的表 这些列名是使用临时名称创建的 例如 custColum1 custColum200 我有一个映射表 其中包含 custColum1 custColumn200 的列表 它必须映射到该名称 例如 Table

  • GCP BigQuery如何通过python api设置表的到期日期

    我正在使用 BigQuery Python API 创建表 并且想为该表设置一个到期日期 以便该表会在特定天数后自动删除 这是我的代码 client bq Client job config bq QueryJobConfig datase

  • 导出BQ表时是否可以指定CSV引号字符？

    我使用以下命令导出表bq extract destination format CSV compression GZIP noprint header table table

  • BigQuery - 预定查询更新通知电子邮件

    有没有办法将计划查询通知电子邮件更新为自定义内容 默认情况下 它是创建者的电子邮件 但是 这通常是没有真正电子邮件收件人的服务帐户 例如 通过 terraform 配置 我们将拥有一个服务帐户 我们希望将电子邮件通知目标从 SA 更新为支持

  • BigQuery 标准 SQL 错误，根本未触及日期字段时的时间戳无效

    答案here https stackoverflow com questions 41195883 bigquery standard sql error invalid timestamp对我没有帮助 尽管我在一个相当简单的更新查询中遇到

  • 使用 Java 在 BigQuery 中保存 Array

    我正在尝试使用 Spark Big Query 连接器将数据保存到 Big 查询中 假设我有一个如下所示的 Java pojo Getter Setter AllArgsConstructor ToString Builder public

  • 从 BigQuery 中删除停用词？

    我有一大堆来自 reddit 的评论 这些字符串被分割成单词 删除标点符号 并进行量化以显示特定 subreddit 上最常用的单词 SELECT word COUNT as num words FROM FLATTEN SELECT SP

  • 使用显式值进行 BigQuery 合并

    据我所知 BigQuery 支持合并两个表 目前 INSERT操作允许将显式值插入表中 例如 INSERT dataset Inventory product quantity VALUES top load washer 10 front

  • BigQuery 类型有多少字节

    以下类型在 BigQuery 中占用多少字节 时间戳 Datetime Date 我的猜测是日期可以存储在 2 个字节中 时间戳可能是 8 个字节 但我不确定这一点 并且在https cloud google com bigquery do

  • Google BigQuery DML 更新仍在流缓冲区中的行的查询

    我最近一直在尝试为 Google 的 Big Query 流 api 提出一种重试机制 用于使用 UPDATE 语句对有时仍位于流缓冲区中的行运行 DML 查询 由于这些行尚未导出到表中 BI 的 api 禁止对它们运行 UPDATE 或

  • 从字符串到日期的日期格式

    我正在使用上传的 csv 进行日期格式化 其中日期是具有以下格式的字符串 10 30 2021 8 41 PM 我试图在谷歌大查询中将其更改为 mm dd yyyy 但不断收到错误消息 提示 无效日期 或 无效日期时间 我尝试过使用子字符串

  • Google BigQuery 与 PHP 集成

    我需要帮助将 google bigquery 代码集成到 PHP 中 所以我可以从 php 代码本身执行查询和其他类型的操作 需要您的帮助并建议我一些工作示例链接 提前致谢 这是一段代码 正确地创建一个Google Client using

  • 比较 BigQuery 中的表

    我如何比较两个表 Table1 and Table2 并查找所有新条目或更改Table2 使用 SQL Server 我可以使用 Select from Table1 Except Select from Table2 这是我想要的示例 T

  • 使用 Apache Beam 的 Dataflow 批量加载的性能问题

    我正在对数据流批量加载进行性能基准测试 发现与 Bigquery 命令行工具上的相同负载相比 加载速度太慢 文件大小约为 20 MB 包含数百万条记录 我尝试了不同的机器类型并获得了最佳的负载性能n1 highmem 4加载目标 BQ 表的

  • BigQuery：从带有时区的日期时间中提取日期

    我正在尝试返回 BigQuery 中的一列以及从该列中提取的日期开始时间 该列中的值的格式为 11 27 2019 14 40 15 CET 0100 我写了以下代码 SELECT EXTRACT DATE FROM TIMESTAMP s

  • BigQuery 中 _PARTITIONDATE 与 _PARTITIONTIME 伪列的使用

    在官方的最佳实践中我found https cloud google com bigquery docs best practices costs 按日期对表进行分区并查询相关分区 例如 WHERE PARTITIONDATE 2017 0

  • BigQuery 中的字段可以具有 NULLABLE 和 REPEATED 模式吗？

    BigQuery 中的字段可以为 NULLABLEand重复模式 例如 表示一个字符串数组 其中某些字符串可能为 NULL BigQuery 中的字段可以具有 NULLABLE 和 REPEATED 模式吗 没有 要么是一个 要么是另一个

  • Bigquery 支持触发器吗？

    我们目前使用 AWS RDS 作为我们的数据库 在表中 我们定义了一些表上的插入或更新触发器 我想知道Bigquery是否也支持触发器 thanks BigQuery是一个数据仓库产品 类似于AWS Redshift和AWS Athena

  • 从 Google BigQuery 查询不同列中的键值

    我使用 Firebase Analytics 收集分析数据 并将其链接到 Google BigQuery 我在 BigQuery 中有以下数据 不必要的列 行被省略 数据集看起来类似于https bigquery cloud google

随机推荐

  • 更改 WSO2 DAS 上的默认管理员密码

    安装 WSO2 数据分析服务器并更改默认管理员密码后 我收到以下错误 ERROR org wso2 carbon databridge agent endpoint DataEndpointConnectionWorker Error wh

  • 如何在 jQuery UI 对话框中显示 IFRAME

    我正在升级的 Web 应用程序使用 jQuery 和 jQuery UI 我已经替换了大多数实例window open and a target blank 与 jQuery UI 对话框 例如 用于在新窗口中打开的条款和条件 现在我将 j

  • 如何将多个 javascript 库与 browserify 捆绑在一起？

    我正在尝试在浏览器中使用 Browerifiy 如果我使用独立选项 它会公开一个模块 我不想这样做 在实际编译代码后 网站和文档似乎在我查看的所有地方都被切断了 没有人说如何实际使用浏览器属性中的代码 我有一个这样的艰巨任务 browser

  • WPF DataGridComboBoxColumn

    您好 我正在使用 WPF DataGrid 并且我正在尝试使 ComboBox Column 正常工作

  • 如何找到与模式匹配的文本？

    NOTE 这不是任何现有问题的重复 它旨在说明为什么这样一个极其常见且看似简单的问题无法回答 并提供指导 指导发布此类问题的人如何修改它们以使它们可以回答 这样我们就不必继续提供几乎每天评论中都有相同的指导 可以参考这个 给定以下输入文件

  • 正则表达式 - 如何查找单词和引用的短语

    我想说以下一串 Guiness Harp Holy Moses 这样在 C 或 VB 中就可以得到一个匹配集 Guiness Harp Holy Moses 本质上 它会在空格上分开 除非空格周围有引号 否则引号之间的那些单词将被视为单个短

  • 如何使用 JavaScript 从文本框控件中获取选定的文本

    我有一个文本框和一个链接按钮 当我编写一些文本 选择其中一些文本 然后单击链接按钮时 从文本框中选择的文本必须显示在消息框中 我该怎么做 当我单击下面文本框的提交按钮时 消息框必须显示洛雷姆 伊普苏姆 因为在区域中选择了 Lorem ips

  • PySpark：when 子句中的多个条件

    我想修改数据框列 年龄 的单元格值 其中当前为空白 并且只有当另一列 幸存 的相应行的值为 0 年龄为空白 时 我才会执行此操作 如果 Survived 列中为 1 但 Age 列中为空 那么我会将其保留为空 我尝试使用 运算符但它不起作用

  • 如何使用 pyPdf 反转 pdf 文件中的页面顺序？

    我有一个 pdf 文件 myFile pdf 我想使用反转其页面的顺序pyPdf http pybrary net pyPdf How from pyPdf import PdfFileWriter PdfFileReader output

  • Doctrine ORM：使用接口作为不同实体的关系？

    学说中多对多关系中如何使用接口 在我的应用程序中有 3 个实体 用户 汽车和司机 用户可以将汽车和司机添加为收藏夹 所以我做了这个结构 简化 用户 最喜欢的功能 namespace Acme AppBundle Entities use A

  • Jsoup.connect() 适用于 Java，不适用于 Android

    我已经尝试过Jsoup connect Jsoup 网站上给出的示例 它在 Java 中运行良好 由于某种原因 即使我在我的项目中允许互联网访问权限 我也无法使其在 Android 项目 Eclipse 中工作AndroidManifest

  • 将命令行参数从 WiX 包传递到 MSI

    我使用的是 Wix 3 7 我有一个 MSI 我想设置一个注册表项 可能通过自定义操作 因为他必须检查该注册表项是否已存在 据我所知 引导程序项目中的捆绑包无法更改计算机状态 例如设置注册表 因此 我尝试通过传递命令行参数

  • 永久修改不属于我的网站的 CSS，并将更改分发到我的网络

    最简单的方法是什么 我很难理解 而且现在没有足够的时间来正确地花和研究 Greasemonkey 只对任何网站应用永久的 css 更改 我认为这更简单 只需添加一个保留在浏览器中的 CSS 即可 但我没有找到任何简单 快速的工具自定义来仅添

  • WPF不同的窗口图标和任务栏图标

    WPF 中的窗口和任务栏是否可以有不同的图标 在我的特殊场景中 我希望窗口有一个透明的图标 任务栏有一个 Metro 样式 带有彩色背景 设置不同的应用程序图标不起作用 任务栏始终显示窗口图标 有人可以提供解决方案吗 由于窗口图标始终为 1

  • File.listFiles 在不应该返回 null 时返回 null

    我正在尝试使用以下命令获取 Phone Pictures 文件夹 内部存储 未插入 SDCard 中现有的文件列表 File file Environment getExternalStoragePublicDirectory Enviro

  • Java EE 5 和 6 工件的正确组和工件 ID 是什么？

    到目前为止 我们一直在手动下载 jar 并使用自定义组 工件 ID 部署到我们的 Maven 存储库 我想避免这种情况 所以我的问题是 什么是正确的组和 Java EE 5 和 6 的工件 ID 文物 我想获取 JSR 级别的名称 例如 我

  • Android @NonNull 的用处

    经过一些阅读和提问后像这个 https stackoverflow com questions 32652402 right way to use the nonnull annotation in android studio我想知道使用

  • 弹簧注入 - 线程安全

    public class Test private First first private Second second public void setFirst First first this first first public Fir

  • 架构师迫切希望使用 SOAP over JMS

    我过去曾使用 JMS 来构建应用程序 效果很好 现在 我与愿意使用规范 基于 Java 消息服务 1 0 的 SOAP 的架构师合作 这个规格接缝过于复杂 我没有看到太多的实现 除了推动规范的供应商之外 这里有人在生产环境中使用这个规范吗

  • 将 Google Cloud SQL 备份上传到 Bigquery

    我在尝试将 Google Cloud SQL 数据库迁移到 BigQuery 时遇到了麻烦 我已将数据库备份从 Cloud SQL 导出到 Cloud Storage 但在尝试将其导入 BigQuery 时 出现错误 未找到 GS 的 UR

热门标签