如何从 ADF 中的 SharePoint 下载更新的文件？

Question

我在 SharePoint 位置有超过 100 个文件，我每天使用 ADF 和 Databricks 摄取和处理这些文件。并非所有文件都每天更新，我最终通过处理未更改的文件浪费了我的时间和资源。如何下载已更新的文件？

我的管道在周末不运行，而 SharePoint 文件在周末可以有更新。

Answer 1

您可以将一个额外的 .md5 文件放到包含您文件的 md5 摘要或其他适合您管道处理的摘要信息的位置。然后您的管道可以选择跳过处理未更改的文件。