将文件从 EC2 移动到 S3，然后从 EC2 删除
Move files from EC2 to S3 and then delete from EC2
我正在将文件从一台远程服务器迁移到 S3。大约有 10k 个文件（所有文件都可以通过远程服务器的 http URLs 访问）。总大小约为 300GB（单个文件不超过 1GB）。我正在尝试找出进行此迁移的最有效方法。到目前为止，我有一个 EC2 实例并且安装了 S3CMD； PHP-SDK，我还有一个包含所有 URL 的文本文件。我能够毫无问题地将文件从 EC2 移动到 S3。但问题是，如果我在 EC2 中下载所有内容，我 运行 存储空间不足。有没有一种方法可以让我在 EC2 中下载文件（也许查看 txt 文件）将其移动到 S3（使用 S3CMD），然后在转到下一个文件之前从 EC2 中删除该文件。
理想情况下，我想从远程位置直接将所有内容下载到 S3，但我认为这是不可能的，除非这里有人说这是可能的。
在此先感谢您的帮助。
我不明白 OS 您当前的 ec2 实例是什么 运行。但是如果它是 linux 你可以使用 S3fs
https://github.com/s3fs-fuse/s3fs-fuse/wiki/Fuse-Over-Amazon
这将允许您像本地 drive/folder 一样安装您的存储桶。然后你可以简单地将文件移动到那里。它会将它们上传到后台的存储桶中。我会分批移动它们，以便于跟踪。移动它们会在上传后将它们从本地文件系统中删除。您也可以通过这种方式将它们复制到存储桶中。完成后，您可以做一个简单的比较，以确保两个文件夹中存在相同的文件，然后您就完成了。
编辑 根据评论中为清楚起见提出的问题
在远程计算机上，使用您的 AWS 凭据设置 Fuse。
安装您的 S3 存储桶。它看起来像 Ubuntu.
中的本地文件夹结构
假设您当前的文件在
/var/myfiles/folder1 和 /var/myfiles/folder2
将您的 S3 存储桶安装到 /mybucket
mv /var/myfiles/folder1 /mybucket/folder1
同样，我会分批移动它们并确保文件夹在继续之前匹配。
编辑结束
如果您的 EC2 实例是 windows，那么还有其他方法可以将 S3 存储桶安装为本地驱动器。然后可以进行相同的过程。
我正在将文件从一台远程服务器迁移到 S3。大约有 10k 个文件（所有文件都可以通过远程服务器的 http URLs 访问）。总大小约为 300GB（单个文件不超过 1GB）。我正在尝试找出进行此迁移的最有效方法。到目前为止，我有一个 EC2 实例并且安装了 S3CMD； PHP-SDK，我还有一个包含所有 URL 的文本文件。我能够毫无问题地将文件从 EC2 移动到 S3。但问题是，如果我在 EC2 中下载所有内容，我 运行 存储空间不足。有没有一种方法可以让我在 EC2 中下载文件（也许查看 txt 文件）将其移动到 S3（使用 S3CMD），然后在转到下一个文件之前从 EC2 中删除该文件。
理想情况下，我想从远程位置直接将所有内容下载到 S3，但我认为这是不可能的，除非这里有人说这是可能的。
在此先感谢您的帮助。
我不明白 OS 您当前的 ec2 实例是什么 运行。但是如果它是 linux 你可以使用 S3fs
https://github.com/s3fs-fuse/s3fs-fuse/wiki/Fuse-Over-Amazon
这将允许您像本地 drive/folder 一样安装您的存储桶。然后你可以简单地将文件移动到那里。它会将它们上传到后台的存储桶中。我会分批移动它们，以便于跟踪。移动它们会在上传后将它们从本地文件系统中删除。您也可以通过这种方式将它们复制到存储桶中。完成后，您可以做一个简单的比较，以确保两个文件夹中存在相同的文件，然后您就完成了。
编辑 根据评论中为清楚起见提出的问题
在远程计算机上，使用您的 AWS 凭据设置 Fuse。
安装您的 S3 存储桶。它看起来像 Ubuntu.
中的本地文件夹结构
假设您当前的文件在
/var/myfiles/folder1 和 /var/myfiles/folder2
将您的 S3 存储桶安装到 /mybucket
mv /var/myfiles/folder1 /mybucket/folder1
同样，我会分批移动它们并确保文件夹在继续之前匹配。
编辑结束
如果您的 EC2 实例是 windows，那么还有其他方法可以将 S3 存储桶安装为本地驱动器。然后可以进行相同的过程。