首先我要说的是，能够从平面文件中获取 1700 万条记录，推送到远程机器上的数据库并花费 7 分钟，这真是太神奇了。 SSIS 确实太棒了。但现在我已经有了这些数据，如何删除重复项呢？
更好的是，我想获取平面文件，从平面文件中删除重复项，然后将它们放回到另一个平面文件中。
我正在考虑一个：
Data Flow Task
- 文件源（具有关联的文件连接）
- for 循环容器
- 包含一些逻辑来判断另一行是否存在的脚本容器
谢谢您，这个网站上的每个人都知识渊博。
Update: 我找到了这个链接，可能有助于回答这个问题
使用排序组件。
只需选择您希望对加载的行进行排序的字段，您将在左下角看到一个用于删除重复项的复选框。此框仅根据排序条件删除任何重复的行
因此，在下面的示例中，如果我们仅对第一个字段进行排序，则行将被视为重复：
1 | sample A |
1 | sample B |
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
