我正在尝试从 Google Cloud Storage 将一些 CSV 文件加载到 BigQuery 中,并努力解决架构生成问题。有一个自动生成选项,但记录很少。问题是,如果我选择让 BigQuery 生成架构,它会很好地猜测数据类型,但有时它会将数据的第一行识别为标题行,有时则不会(将第一行视为标题行)行作为数据并生成列名称(如 string_field_N)。我的数据的第一行是always标题行。有些表有很多列(超过 30 列),我不想搞乱架构语法,因为当架构出现问题(我不知道是什么)时,BigQuery 总是会发出无信息的错误消息。
那么:如何强制它将第一行识别为标题行?如果这是不可能的,我如何让它以正确的语法吐出它生成的架构,以便我可以编辑它(对于适当的列名称)并将其用作导入时的架构?
我建议在这里做两件事:
- 预处理文件并存储文件的最终布局(不包括第一行,即标题行)
- BQ 加载接受 JSON 模式文件形式的附加参数,使用它来显式定义表模式并将该文件作为参数传递。这使您可以根据需要随时灵活地更改架构
不建议允许 BQ 自动检测架构。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)