如何使用 php aws sdk 复制整个 s3 文件夹？

Question

我想在 aws s3 存储桶中复制一个文件夹。我可以复制文件，但要求我应该能够用其他名称复制整个 s3 文件夹。示例：如果文件夹名称是 project1，我需要将其复制为 project1-copy 到名为 my_bucket 的存储桶中。我试过下面的代码。

$s3->copyObject([
    'Bucket'     => my_bucket,
    'Key'        => "project-copy",
    'CopySource' => "my_bucket/project1",
]);

也可以反转为

$s3->copyObject([
    'Bucket'     => my_bucket,
    'Key'        => "project1",
    'CopySource' => "my_bucket/project-copy",
]);

在这两种情况下，我都收到错误

Error executing "CopyObject" on "https://s3.us-east-1.amazonaws.com/my_bucket/project1/"; AWS HTTP error: Client error: PUT https://s3.us-east-1.amazonaws.com/my_bucket/project1/ resulted in a 404 Not Found response: NoSuchKeyThe specified key does not exist.34/F992013F6C3125 (truncated...) NoSuchKey (client): The specified key does not exist. - NoSuchKeyThe specified key does not exist.34/F992013F6C312535YLrCcHhYJzimIKoR2knMvD3smhUbH75piDYTIx5SpKCPNkeWIifaYhKgezxnhpZzOHflzQngTnE=There was an error uploading

而且我确信我使用的是正确的区域和文件夹名称以及存储桶名称。仍然收到上述错误。我该如何解决这个问题？

Answer 1

Amazon S3 中不存在文件夹。

相反，对象的键（文件名）包含完整路径，例如：

s3merahkee/project1/foo.txt

如果您希望复制整个 'folder'，则需要复制该路径中的所有文件对象。

另外请注意，您不需要预先创建文件夹来存储文件。你可以运行这样的命令：

aws s3 cp foo.txt s3://my-bucket/s3merahkee/project1/foo.txt

此命令将 'create' s3merahkee 和 project1 文件夹。好吧，实际上它根本不会创建它们，因为它们不存在，但是 Amazon S3 管理控制台甚至 aws s3 ls 命令都会使它 'appear' 就好像这些文件夹存在一样。如果您要删除该文件，这些文件夹将立即消失（因为它们实际上并不存在）。

复制整个文件夹的最简单方法是使用 AWS Command-Line Interface (CLI)，如下所示：

aws s3 cp --recursive s3://my-bucket/folder1 s3://my-bucket/folder2

Answer 2

就 S3 中的对象包含完整文件路径而言，接受的答案是正确的。但是，有一种方法可以使用 SDK 执行此操作，因此您无需使用命令行。

AWS 建议使用 Transfer 对象执行此操作：https://docs.aws.amazon.com/sdk-for-php/v3/developer-guide/s3-transfer.html

Answer 3

这里解释了如何使用 PHP SDK 在 Amazon S3 中将多个对象从一个存储桶复制到另一个存储桶或在同一个存储桶中：https://docs.aws.amazon.com/AmazonS3/latest/dev/CopyingObjectUsingPHP.html

如果简单的话，从文件列表中创建一批操作：

$batch[] = $s3->getCommand('CopyObject', [
    'Bucket'     => $targetBucket,
    'Key'        => "{targetKeyname}-{$i}",
    'CopySource' => "{$sourceBucket}/{$sourceKeyname}",
]);

并使用 \Aws\CommandPool::batch($s3, $batch);

发送该批次

如何使用 php aws sdk 复制整个 s3 文件夹？

How to copy whole s3 folders using php aws sdk?

amazon-web-services

api

amazon-s3

copy

aws-php-sdk