Spring 集成:自上次轮询以来仅提取新文件

Spring Integration: Only Ingest New Files Since Last Poll

我正在使用 Spring 集成从 S3 存储桶中轮询文件。处理后我无法删除文件,所以我添加了 S3PersistentAcceptOnceFileListFilter。我有很多文件并经常轮询,这对 FILE_SYNC_METADATA_STORE table.

造成了不必要的压力

我想知道是否有一个 FileListFilter 实现可以过滤自上次轮询以来 new/updated 的文件,而不必为每个文件查询数据库。

没有这样的FileListFilter,但是你绝对可以实现自己的,例如将S3Object的最新lastmodified保存在过滤器中并在下一次投票。这样你确实不会进入为 S3PersistentAcceptOnceFileListFilter 配置的 FILE_SYNC_METADATA_STORE table 因为你不会传递给那个过滤器。尽管使用自定义 lastmodified 过滤器,您可能根本不需要 S3PersistentAcceptOnceFileListFilter...