我在一个 BigQuery 项目中的大约 100 万个表中拥有许多 TB,这些项目托管在位于美国的多个数据集中。我需要将所有这些数据移动到欧盟托管的数据集。我这样做的最佳选择是什么?
- 我将表导出到 Google Cloud Storage 并使用加载作业重新导入,但每个项目每天的加载作业数有 10K 的限制
- 我会将其作为带有“允许大结果”的查询并保存到目标表,但这不适用于跨区域
我现在看到的唯一选择是使用 BQ 流 API 重新插入所有数据,这成本高昂。
在 BigQuery 中跨区域移动多个表中的大量数据的最佳方法是什么?
您可以使用复制数据集BigQuery 复制数据集 https://cloud.google.com/bigquery/docs/copying-datasets(区域内/跨区域)。复制数据集 UI 与复制表类似。只需从源数据集中单击“复制数据集”按钮,然后在弹出的表单中指定目标数据集。请参阅下面的屏幕截图。查看公共文档以了解更多用例。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)