talend中文件的增量数据处理
Incremental data processing for file in talend
当您没有数据库或任何东西来记录之前的执行时间戳时，您如何管理增量数据处理？
我们可以使用 tAddCRCRow 组件吗？但是当源和目标都只是文件集合时，它怎么会知道这些数据是否已经过特殊处理？
谢谢。
您必须将目标文件用作查找并确定现有值。这将帮助您解决问题。
如果是文件，您必须使用多个文件作为查找。或者创建一个单独的 table 来保存所有文件的唯一值并将其用作查找
当您没有数据库或任何东西来记录之前的执行时间戳时，您如何管理增量数据处理？ 我们可以使用 tAddCRCRow 组件吗？但是当源和目标都只是文件集合时，它怎么会知道这些数据是否已经过特殊处理？
谢谢。
您必须将目标文件用作查找并确定现有值。这将帮助您解决问题。
如果是文件，您必须使用多个文件作为查找。或者创建一个单独的 table 来保存所有文件的唯一值并将其用作查找