将嵌套 BigQuery 数据导出到云存储

2023-11-21

我正在尝试通过 API 将 bigquery 数据导出到谷歌云存储桶。我从这里改编了一个代码片段https://cloud.google.com/bigquery/docs/exporting-data

Job job = table.extract(format, gcsUrl);
// Wait for the job to complete
try {
  Job completedJob = job.waitFor(WaitForOption.checkEvery(1, 
TimeUnit.SECONDS),
      WaitForOption.timeout(3, TimeUnit.MINUTES));
  if (completedJob != null && completedJob.getStatus().getError() == null) {
    // Job completed successfully
  } else {
    // Handle error case
       System.out.println(completedJob.getStatus().getError());
  }
} catch (InterruptedException | TimeoutException e) {
  // Handle interrupted wait

}

我已与“JSON”交换格式,因为我的数据是嵌套的,无法使用“gs://mybucket/export_*.json”导出到 CSV 和 gcsUrl。 但错误消息告诉我以下问题:

transfer not working  BigQueryError{reason=invalid, location=null, message=Operation cannot be performed on a nested schema. Field: totals}

有什么建议吗? JSON 应该能够处理嵌套格式......


参考目的地格式选项,你应该设置"NEWLINE_DELIMITED_JSON"为了format变量以便导出为 JSON。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

将嵌套 BigQuery 数据导出到云存储 的相关文章

随机推荐

  • 如果接收到有效负载大小为 0 的有效 TCP 数据包,recv() 将返回什么值

    在TCP套接字编程中 如果recv 返回0 表示对方关闭了连接 然而 据我所知 TCP RFC 并不强制要求 TCP 的有效负载 gt 0 因此 理论上 TCP 堆栈可以接收有效负载为 0 的消息 所以 本质上我的问题是recv 如果接收到
  • 无法在 Nuget 中将 Ninject 升级到最新版本

    我有一个 ASP NET WebForms 应用程序 它使用一些 Ninject 包 但我卡在某个版本上 当我尝试升级到最新版本时 出现 无法解决依赖项 问题 有问题的包是 Package InstalledVer LatestVer Ni
  • spring - 从类的静态字段中的属性文件中读取属性值

    我有一个实用程序类 其中有一种方法需要用户名和密码才能连接其他网址 我需要将该用户名保留在属性文件中 以便我可以随时更改它 但当我在静态方法 作为实用程序类 中使用它时 问题是它显示 null 即它无法从属性文件中读取 但是当我检查其他控制
  • bash 别名和 awk 引号转义

    我正在尝试为命令创建别名来查看内存使用情况 ps u user o rss command grep v peruser awk sum 1 END print sum 1024 但是 天真的人 bash aliases alias tot
  • boto3 file_upload 检查文件是否存在

    我正在查看 boto3 文档 但找不到它本身是否支持检查文件是否已存在于 s3 中 如果不存在 请不要尝试重新上传 这是我正在做的工作 import boto3 s3 client boto3 client s3 s3 bucket buc
  • Canvas DrawImage() 质量差[重复]

    这个问题在这里已经有答案了 我对 Html5 画布有疑问 i draw an image but its quality becomes very poor 当我用画布绘制它之后 它就变成了这样 我的代码在这里
  • 当对基元和装箱值使用 == 时,是完成自动装箱还是完成拆箱

    以下代码可编译 使用 Java 8 Integer i1 1000 int i2 1000 boolean compared i1 i2 但它有什么作用呢 Unbox i1 boolean compared i1 intvalue i2 o
  • Android套接字连接超时

    我的android应用程序通过socket连接到服务器 这是在node js中编码的 当在前台停留 15 分钟时 它会丢失与服务器的连接 以下是sockt连接服务器的代码 public void connect this connectio
  • 当我尝试从 bash 执行 python 脚本时权限被拒绝? [复制]

    这个问题在这里已经有答案了 我从网上下载了一个 python 脚本 当我尝试从 bash 执行它时 它抛出一个异常 User python script user python script py n some parameter b 输出
  • 如何使用 LibGit2Sharp 获取 Git 上的文件内容?

    我检查了代码BlobFixture cs并发现一些有关读取文件内容的测试 如下所示 using var repo new Repository BareTestRepoPath var blob repo Lookup
  • Handlebars 助手和 Ember Handlebars 助手有什么区别?

    我无法跟上对普通车把和修改后的 Ember 车把助手所做的所有更改 如果我没记错的话你可以用以下方法注册一个助手 Ember Handlebars helper Ember Handlebars registerHelper Ember H
  • Razor 和 HTML 帮助程序

    我正在尝试移植旧的 HTML Image 助手 我确信每个人都曾在某一时刻使用过它 但我遇到了问题 以下编译良好 Html Image my id Content my img png Alt Text 但是当我尝试在视图中使用它时 它只是
  • Java - 在程序中创建新的文件扩展名

    我的目标是为我正在创建的程序创建一个新的文件扩展名 可能不止一个 因此 在四处查看之后 我找到了一些有关该主题的资源 如下所列 以防万一有人想要查看它们并了解我一直在查看的内容 在 Java 应用程序中使用文件关联 创建注册表项以将文件扩展
  • 像表格排序器一样向 添加排序箭头

    我正在尝试向我的表格添加双箭头 向上和向下 例如表格排序器插件可以 这是我的fiddle 由于某种原因 jsfiddle 中甚至没有出现一个箭头 但它可以在我的原始表格上运行 我试过这个 table th addClass headerSo
  • 如何在uWSGI上仅记录5xx错误

    我想让uWSGI只记录服务器错误并避免正常的请求日志 因为文件增长得非常快 并且所有请求日志记录对我来说NGINX都很好 我怎样才能正确配置我的 uwsgi ini 呢 该文档对我来说不是很清楚 最后解决方案非常简单 logto var l
  • 如何在 Ruby 中将数字分组到不同的桶中

    我有一个文件 每行都有数字 0101 1010 1311 0101 1311 431 1010 431 420 我想要一个包含每个数字出现次数的哈希值 在本例中 0101 gt 2 1010 gt 2 1311 gt 2 431 gt 2
  • 自定义视图 - self.frame 不正确?

    所以我有一个自定义的 UIView 类 class MessageBox UIView override init frame CGRect super init frame frame createSubViews required in
  • React-native android WebView在加载之前处理点击的Url

    我正在通过反应本机的 WebView 显示一个网站 此网站上有一个 PassWallet pkpass 文件的链接 不是唯一的用例 当我单击此网站上的任何链接时 我想检查它是否是其他网站或 pkpass 文件或其他文件 当此检查运行时 我不
  • 如果同一日期有超过 3 个使用完整日历的事件,如何更改整个单元格的颜色

    我正在使用完整日历来生成日期并显示事件 一切工作正常 但我想要一个附加功能 即如果单元格颜色超过 3 个事件 我想将单元格颜色更改为红色 如果日期有超过 3 个函数 事件 则整个单元格颜色应更改为红色 以便用户知道预订已满 我还粘贴了下面的
  • 将嵌套 BigQuery 数据导出到云存储

    我正在尝试通过 API 将 bigquery 数据导出到谷歌云存储桶 我从这里改编了一个代码片段https cloud google com bigquery docs exporting data Job job table extrac