Spring 集成:自上次轮询以来仅提取新文件
Spring Integration: Only Ingest New Files Since Last Poll
我正在使用 Spring 集成从 S3 存储桶中轮询文件。处理后我无法删除文件,所以我添加了 S3PersistentAcceptOnceFileListFilter
。我有很多文件并经常轮询,这对 FILE_SYNC_METADATA_STORE
table.
造成了不必要的压力
我想知道是否有一个 FileListFilter
实现可以过滤自上次轮询以来 new/updated 的文件,而不必为每个文件查询数据库。
没有这样的FileListFilter
,但是你绝对可以实现自己的,例如将S3Object
的最新lastmodified
保存在过滤器中并在下一次投票。这样你确实不会进入为 S3PersistentAcceptOnceFileListFilter
配置的 FILE_SYNC_METADATA_STORE
table 因为你不会传递给那个过滤器。尽管使用自定义 lastmodified
过滤器,您可能根本不需要 S3PersistentAcceptOnceFileListFilter
...
我正在使用 Spring 集成从 S3 存储桶中轮询文件。处理后我无法删除文件,所以我添加了 S3PersistentAcceptOnceFileListFilter
。我有很多文件并经常轮询,这对 FILE_SYNC_METADATA_STORE
table.
我想知道是否有一个 FileListFilter
实现可以过滤自上次轮询以来 new/updated 的文件,而不必为每个文件查询数据库。
没有这样的FileListFilter
,但是你绝对可以实现自己的,例如将S3Object
的最新lastmodified
保存在过滤器中并在下一次投票。这样你确实不会进入为 S3PersistentAcceptOnceFileListFilter
配置的 FILE_SYNC_METADATA_STORE
table 因为你不会传递给那个过滤器。尽管使用自定义 lastmodified
过滤器,您可能根本不需要 S3PersistentAcceptOnceFileListFilter
...