如何在 spring 批处理写入器中将数据简化为 sftp
How one can streamline data to sftp in spring batch writer
我有以下问题要作为 spring 批处理应用程序实施。
- 查询数据的外部端点
- 应用业务逻辑(映射)
- 写入csv文件
- 将这些文件上传到 sftp 服务器
我预计会读取大量数据。不可能把所有的都留在记忆里。我的问题是可以以及如何将第 3 步和第 4 步合并为一个。最重要的是如何将数据直接简化为 sftp 服务器。
SFTP 出站通道适配器支持负载作为 InputStream
。因此,您通过该流传输数据:https://docs.spring.io/spring-integration/docs/current/reference/html/sftp.html#sftp-outbound.
您可以直接使用 RemoteFileTemplate
或 SftpSession
,但在 Spring 批处理中 ItemWriter
。
我有以下问题要作为 spring 批处理应用程序实施。
- 查询数据的外部端点
- 应用业务逻辑(映射)
- 写入csv文件
- 将这些文件上传到 sftp 服务器
我预计会读取大量数据。不可能把所有的都留在记忆里。我的问题是可以以及如何将第 3 步和第 4 步合并为一个。最重要的是如何将数据直接简化为 sftp 服务器。
SFTP 出站通道适配器支持负载作为 InputStream
。因此,您通过该流传输数据:https://docs.spring.io/spring-integration/docs/current/reference/html/sftp.html#sftp-outbound.
您可以直接使用 RemoteFileTemplate
或 SftpSession
,但在 Spring 批处理中 ItemWriter
。