来自 azure 批处理服务的定期 stdout 和 stderr

2024-04-02

我正在天蓝色数据工厂中运行管道,并且使用自定义单元来运行天蓝色批处理活动。

我运行的天蓝色批处理作业非常大,我想监控我处于该作业的哪个阶段。在远程虚拟机上,我通常使用logging模块输入python.

我能够在作业完成时获取作业的状态(即所有日志记录信息),但我想在运行作业时获取它。

我该怎么做呢?


批量自动捕获stdout/stderr到stdout.txt and stderr.txt对于任务目录中的任务。确保你定期刷新你的流 https://stackoverflow.com/questions/56781405/how-to-update-stdout-txt-during-task-execution-real-time, 如果需要的话。您在这里有两个选择:

  1. 在程序中实现逻辑(作为批处理任务执行),以定期将这些文件导出到可以查看的其他位置(例如 Azure 存储 Blob)。
  2. 在您的客户端上实现定期调用的逻辑GetFile https://learn.microsoft.com/rest/api/batchservice/file/getfromtask并检索新的偏移量(ocp-range标题)任一stdout.txt or stderr.txt。如果使用 API 代替 REST,各种语言的 SDK 都有方便的 API。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

来自 azure 批处理服务的定期 stdout 和 stderr 的相关文章

随机推荐