Azure 数据流需要几分钟才能触发下一个管道

2023-12-04

Azure 数据工厂在 10 毫秒内将数据传输到 Db 中,但我遇到的问题是它需要等待几分钟才能触发下一个管道,最终需要 40 分钟,所有管道传输数据的时间不到 20 毫秒。但不知何故,它要等待几分钟才能触发下一个。

enter image description here I used debug mode as well trigger the ADF using Logic App without debugging mood. Is there any way I can optimize it we want to move from SSIS to Data Flow but having a time issue 40 mins are so much in next step we have millions of records

所以花了 7 秒将数据传输到数据库,但等待了 6 分钟:( 检查下图

enter image description here

enter image description here


这个文件监控数据流性能提到:

请注意,您可以在整体性能计算中假定 1 分钟的群集作业执行设置时间,如果您使用默认的 Azure 集成运行时,则可能还需要添加 5 分钟的群集启动时间。

这也许是一个原因。您可以先按照本教程进行操作映射数据流性能和调优指南.

这个文件在 Azure 数据工厂中执行数据流活动也可以帮助我们提高性能。

选择执行数据流的计算环境。默认值是 Azure 自动解析默认集成运行时。此选择将在与数据工厂位于同一区域的 Spark 环境中执行数据流。计算类型将是作业集群,这意味着计算环境将需要几分钟才能启动。

您可以控制数据流活动的 Spark 执行环境。在 Azure 集成运行时中,可设置计算类型(通用、内存优化和计算优化)、工作核心数量和生存时间,以使执行引擎与数据流计算要求相匹配。此外,设置 TTL 将允许您维护一个可立即用于作业执行的热集群。

Note:

数据流活动中的集成运行时选择仅适用于管道的触发执行。使用数据流调试管道将针对 8 核默认 Spark 集群执行。

希望这可以帮助。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Azure 数据流需要几分钟才能触发下一个管道 的相关文章

随机推荐