我想在将新文件添加到存储桶时触发数据流作业,以便处理新数据并将其添加到 BigQuery 表中。我看到云函数可以被触发 https://cloud.google.com/functions/calling#google_cloud_storage通过存储桶中的更改,但我还没有找到使用以下方式启动数据流作业的方法gcloud Node.js 库 https://googlecloudplatform.github.io/gcloud-node/#/docs/v0.29.0.
有没有办法使用云函数来执行此操作,或者是否有其他方法可以实现所需的结果(将文件添加到存储桶时将新数据插入到 BigQuery)?
Apache Beam 从 2.2 开始支持此功能。看在 Apache Beam 中监视与文件模式匹配的新文件 https://stackoverflow.com/questions/47896488/watching-for-new-files-matching-a-filepattern-in-apache-beam/47896489#47896489.
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)