阅读 Amazon 文档后,我的理解是运行/测试 Glue 脚本的唯一方法是将其部署到开发端点并在必要时进行远程调试。同时,如果(Python)代码由多个文件和包组成,则除了主脚本之外的所有文件和包都需要压缩。这一切让我感觉 Glue 不适合任何复杂的 ETL 任务,因为开发和测试很麻烦。我可以在本地测试我的 Spark 代码,而无需每次都将代码上传到 S3,并在 CI 服务器上验证测试,而无需支付开发 Glue 端点的费用。
最终,截至 2019 年 8 月 28 日,亚马逊允许您下载二进制文件并
开发、编译、调试和单步 Glue ETL 脚本和复杂的
本地使用 Scala 和 Python 生成 Spark 应用程序。
查看此链接:https://aws.amazon.com/about-aws/whats-new/2019/08/aws-glue-releases-binaries-of-glue-etl-libraries-for-glue-jobs/ https://aws.amazon.com/about-aws/whats-new/2019/08/aws-glue-releases-binaries-of-glue-etl-libraries-for-glue-jobs/
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)