Spring 云数据流 Git 来源

Spring Cloud Data Flow Git source

我有兴趣查看 git 存储库的更改,然后对该存储库的文件执行操作。我可以在 github 中设置一个 webhook 以在存储库更改时通知数据流,但我需要 download/clone 文件来处理它们。是否有一些本地存储可以保证我可以执行类似操作的部署?

基本上,数据流部署管道中的处理器是否有可用的本地存储,以便它们可以将文件保存到磁盘并将它们处理到管道的下一阶段?

谢谢!

Spring Cloud Data Flow 只不过是一个 Spring 引导应用程序。 SCDF 不直接与应用程序、消息代理或底层平台组件交互,包括卷安装。

也就是说,如果您需要应用程序下载和处理下载的文件,则必须依赖应用程序所在的组件 运行。

例如,在 Local-mode 中使用 SCDF 时,所有应用程序都是 运行 作为 machine/VM 中的 Java 进程,因此如果处理器可以访问本地 file-system,那么是的,您可以将其称为 file:/// 资源。您可以使用 SFTP to JDBC 数据管道作为参考。在这里,SFTP 源在本地下载文件,读取文件的元数据,然后将元数据作为负载发送到下游应用程序,后者又启动一个任务将文件内容写入数据库。

如果您是 运行 Cloud Foundry 中的 SCDF,您将依赖托管服务,例如 PCF Volume Services, Minio, and similar things. (See docs)

同样,对于 Kubernetes 上的 SCDF,您可以使用 K8s Volume Mounts with your choice of backend.(See docs)