当您在数据流中使用“fromTable”与“fromQuery("SELECT * ...")”时,“BigQueryIO”是否有区别?

2023-12-03

当您需要在数据流作业中从 bigquery 中的一个或多个表中读取所有数据时,我会说有两种方法。第一个是使用BigQueryIO with from,它读取有问题的表,第二种方法是使用fromQuery您可以在其中指定从同一个表中读取所有数据的查询。所以我的问题是:

  • 使用其中一种比另一种有成本或性能优势吗?

我在文档中没有找到任何与此相关的内容,但我真的很想知道。我想也许read速度更快,因为您不需要运行扫描数据的查询,这意味着它更类似于您在BigQuery用户界面。如果这是真的,它可能也会便宜得多,但如果它们的成本相同,那就有意义了。

简而言之,以下之间有什么区别:

BigQueryIO.read(...).from(tableName)

And

BigQueryIO.read(...).fromQuery("SELECT * FROM " + tableName)

fromfromQuery(SELECT * FROM ...).

  • from直接导出表,导出数据为free对于 BigQuery。
  • fromQuery(SELECT * FROM ...)将首先扫描整个表(5 美​​元/TB)并导出结果。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

当您在数据流中使用“fromTable”与“fromQuery("SELECT * ...")”时,“BigQueryIO”是否有区别? 的相关文章

随机推荐