从 SFTP 获取文件到 S3 AWS

Question

从SFTP中的目录中获取数据并复制到AWS的S3存储桶中的更好选择是什么？ 在 SFTP 中，我只有读取权限，所以 Rsync 不是选项。

我的想法是使用 Python 在 GLUE 中创建一个作业，将此数据 y 副本下载到 S3 的存储桶中。它们是不同的文件，一个大约 600 MB，其他的大约 4 GB。

Answer 1

假设您谈论的是不在 AWS 上的 sFTP 服务器，您有几个不同的选项可能比您提出的更容易（尽管您的解决方案可能有效）：

1. 将 AWS CLI 下载到 sFTP 服务器并通过 AWS s3 cp 命令复制文件。
2. 使用 AWS SDK 编写脚本获取文件并复制它们。您可能需要根据文件大小使用分段上传。
3. 您可以创建一个 AWS managed sFTP server 直接链接到您的 s3 存储桶作为该服务器的后端存储，然后使用 sftp 命令复制文件。

请注意，您需要在您的 AWS 账户中拥有适当的权限才能完成这 3（或 4）种解决方案中的任何一种。