Spring Cloud DataFlow 在 AWS S3 Bucket 源中的新文件后使用启动任务

Question

我正在尝试创建一个由 AWS S3 中的新文件启动的批处理。

所以流程是：

1 - A new file is uploaded to AWS S3 Bucket
2 - SCDF detects
3 - SCDF launch the task (Spring Batch application)
4 - Spring Batch application process the file and stores in a DB.

与此类似，但使用 S3 存储桶： https://dataflow.spring.io/docs/recipes/batch/sftp-to-jdbc/

可能是对概念的误解，但在 SFTP 源中我可以设置端口、主机、用户和密码，但在 S3 源中我没有区域和凭据属性。

在哪里设置 AWS 属性？

Answer 1

自述文件中有一个 Amazon AWS common options 部分（请参阅：old-app / new-app），其中包括可以覆盖的常见 AWS 特定属性。

您可以在流定义中或在按照部署程序属性约定部署流时将它们作为内联属性传递。

Answer 2

我提供了这个用例的详细示例 here（使用 Minio S3）。这适用于最新版本的流应用程序，但如果您使用的是以前的版本，则需要进行一些自定义。