Spring 云数据流 Git 来源
Spring Cloud Data Flow Git source
我有兴趣查看 git 存储库的更改,然后对该存储库的文件执行操作。我可以在 github 中设置一个 webhook 以在存储库更改时通知数据流,但我需要 download/clone 文件来处理它们。是否有一些本地存储可以保证我可以执行类似操作的部署?
基本上,数据流部署管道中的处理器是否有可用的本地存储,以便它们可以将文件保存到磁盘并将它们处理到管道的下一阶段?
谢谢!
Spring Cloud Data Flow 只不过是一个 Spring 引导应用程序。 SCDF 不直接与应用程序、消息代理或底层平台组件交互,包括卷安装。
也就是说,如果您需要应用程序下载和处理下载的文件,则必须依赖应用程序所在的组件 运行。
例如,在 Local-mode 中使用 SCDF 时,所有应用程序都是 运行 作为 machine/VM 中的 Java 进程,因此如果处理器可以访问本地 file-system,那么是的,您可以将其称为 file:///
资源。您可以使用 SFTP to JDBC 数据管道作为参考。在这里,SFTP 源在本地下载文件,读取文件的元数据,然后将元数据作为负载发送到下游应用程序,后者又启动一个任务将文件内容写入数据库。
如果您是 运行 Cloud Foundry 中的 SCDF,您将依赖托管服务,例如 PCF Volume Services, Minio, and similar things. (See docs)
同样,对于 Kubernetes 上的 SCDF,您可以使用 K8s Volume Mounts with your choice of backend.(See docs)
我有兴趣查看 git 存储库的更改,然后对该存储库的文件执行操作。我可以在 github 中设置一个 webhook 以在存储库更改时通知数据流,但我需要 download/clone 文件来处理它们。是否有一些本地存储可以保证我可以执行类似操作的部署?
基本上,数据流部署管道中的处理器是否有可用的本地存储,以便它们可以将文件保存到磁盘并将它们处理到管道的下一阶段?
谢谢!
Spring Cloud Data Flow 只不过是一个 Spring 引导应用程序。 SCDF 不直接与应用程序、消息代理或底层平台组件交互,包括卷安装。
也就是说,如果您需要应用程序下载和处理下载的文件,则必须依赖应用程序所在的组件 运行。
例如,在 Local-mode 中使用 SCDF 时,所有应用程序都是 运行 作为 machine/VM 中的 Java 进程,因此如果处理器可以访问本地 file-system,那么是的,您可以将其称为 file:///
资源。您可以使用 SFTP to JDBC 数据管道作为参考。在这里,SFTP 源在本地下载文件,读取文件的元数据,然后将元数据作为负载发送到下游应用程序,后者又启动一个任务将文件内容写入数据库。
如果您是 运行 Cloud Foundry 中的 SCDF,您将依赖托管服务,例如 PCF Volume Services, Minio, and similar things. (See docs)
同样,对于 Kubernetes 上的 SCDF,您可以使用 K8s Volume Mounts with your choice of backend.(See docs)