Azure 数据工厂复制数据速度很慢

2024-05-08

源数据库:Azure VM D16s_v3 上托管的 PostgreSQL 目标数据库:Azure VM D4s_v3 上托管的 SQL Server 开发人员版本 源数据库大小约为1TB 目标数据库为空,现有架构与源数据库相同

吞吐量仅为 1mb/s。没有任何帮助。 (我选择了 max DIU)此时 SQL Server 没有任何键或索引。

批量大小为 10000

See screenshot: enter image description here


当使用 ADF 将数据从本地 Oracle 源复制到 Azure SQL 数据库接收器时,我遇到了类似的问题。通过 SSIS 执行相同的工作大约快了 5 倍。我们开始怀疑数据类型出了问题,因为如果我们将所有高精度 Oracle NUMBER 列转换为较低精度或整数等类型,问题就会消失。

情况变得如此糟糕,我们就此向微软立案,我们最担心的事情得到了证实。

Azure 数据工厂运行时小数类型的最大精度为 28。如果源中的小数/数字值具有更高的精度,ADF 将首先将其转换为字符串。字符串转换代码的性能很糟糕。

检查您的源是否具有任何高精度数字数据,或者如果您没有显式定义架构,请查看您是否可能意外使用了字符串。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Azure 数据工厂复制数据速度很慢 的相关文章

随机推荐