我是一名 SSIS 开发人员。我在 SSIS 中研究了很多 SQL 存储过程查找概念。但是当来到 Azure 数据工厂时,我不知道如何使用 SQL 存储过程执行查找。
有人可以指导我吗?
提前致谢 !
杰伊
Azure 数据工厂 (ADF) 更像是一种 ELT 工具,而不是 ETL,因此不支持直接查找。相反,这种类型的操作以及其他转换是推入计算中你实际上正在使用。例如,如果您要将数据移动到 SQL Server、Azure SQL 数据库或 Azure SQL 数据仓库,您需要确保所有数据都位于同一服务器上并使用存储过程任务 https://learn.microsoft.com/en-us/azure/data-factory/data-factory-stored-proc-activity使用 T-SQL 和联接执行查找。如果您使用的是 Azure Data Lake Analytics (ADLA),您将使用U-SQL 活动 https://learn.microsoft.com/en-us/azure/data-factory/data-factory-usql-activity运行 U-SQL 或执行 ADLA 存储过程,再次通过联接或自定义 U-SQL 代码(例如 Combiner、Applier、Reducer)进行查找。事实上,您可以使用任何 ADF 计算选项,例如 SQL、HDInsight(包括 Hive、Pig、Map Reduce、Streaming 和 Spark 脚本)、机器学习或自定义 .net 活动。
因此,您需要对 ADF 进行不同的思考。请阅读本文以更好地了解 ADF 中的数据转换:
在 Azure 数据工厂中转换数据
https://learn.microsoft.com/en-us/azure/data-factory/data-factory-data-transformation-activities https://learn.microsoft.com/en-us/azure/data-factory/data-factory-data-transformation-activities
顺便说一句,我很少在 SSIS 中使用查找,因为早期版本的性能很差。尽管这在以后的版本中得到了改进,但通常如果您可以在 SQL 中完成它,您可能应该这样做。此模式利用 SQL Server 的强大功能,而不是将数据拖入 SSIS 管道,例如用于查找(本质上是联接)并再次将数据推出。我主要在涉及非关系数据时保留数据流转换,例如 xml 或使用关系数据连接电子邮件服务器。无论如何,这是我个人的观点:)
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)