将数据从文本文件传输到 excel 时检查重复行

Check for duplicate rows while transferring data from text file to excel

平台:SSIS

我是 SSIS 的新手,我试图在将数据从文本文件传输到 excel 文件时检查重复行。听说可以使用缓存转换,但我不太确定。有什么建议么?

处理此问题的一种简单方法是在源和目标之间使用聚合转换。在其中,按源中的所有列分组以消除重复项。这个技巧我用过,效果很好

如果源很大,这可能会很慢。