如何使用 SFTP input/output Google 数据流

Question

在演示中，源代码使用 google 存储。 但是如何用SFTP替换呢？

Answer 1

您可以使用 pysftp 下载数据并将其保存到 Beam 管道外的 GCS 存储桶中。然后启动指向 GCS bucket 的光束流水线。由于您的工作流程本质上是分批处理的，所以这样就可以了。梁中没有 FTP 个连接器。