如何使用 boto3 在 2 个不同帐户的 S3 存储桶之间复制文件

Question

我正在尝试使用 boto3 将文件从供应商 S3 存储桶上传到我的 S3 存储桶。我正在使用 sts 服务承担访问供应商 s3 存储桶的角色。我能够连接到供应商存储桶并获取该存储桶的列表。复制到我的存储桶时，我运行进入 CopyObject operation: Access Denied 错误。这是我的脚本

session = boto3.session.Session(profile_name="s3_transfer")
sts_client = session.client("sts", verify=False)
assumed_role_object = sts_client.assume_role(
    RoleArn="arn:aws:iam::<accountid>:role/assumedrole",
    RoleSessionName="transfer_session",
    ExternalId="<ID>",
    DurationSeconds=18000,
)

creds = assumed_role_object["Credentials"]
src_s3 = boto3.client(
    "s3",
    aws_access_key_id=creds["AccessKeyId"],
    aws_secret_access_key=creds["SecretAccessKey"],
    aws_session_token=creds["SessionToken"],
    verify=False,
)
paginator =src_s3.get_paginator("list_objects_v2")
# testing with just 2 items.
# TODO: Remove MaxItems once script works.
pages = paginator.paginate(
    Bucket="ven_bucket", Prefix="client", PaginationConfig={"MaxItems": 2, "PageSize": 1000}
)
dest_s3 = session.client("s3", verify=False)
for page in pages:
    for obj in page["Contents"]:
        src_key = obj["Key"]
        des_key = dest_prefix + src_key[len(src_prefix) :]
        src = {"Bucket": "ven_bucket", "Key": src_key}
        print(src)
        print(des_key)
        dest_s3.copy(src, "my-bucket", des_key, SourceClient=src_s3)

第 dest_s3.copy... 行是我收到错误的地方。我的 aws 用户有以下政策允许复制到我的存储桶

{
    "Version": "2012-10-17",
   "Statement": [
    {
        "Sid": "VisualEditor1",
        "Effect": "Allow",
        "Action": [
            "s3:*"
        ],
        "Resource": [
            "arn:aws:s3:::my-bucket/*",
            "arn:aws:s3:::my-bucket/"
        ]
    }
    ]
}

我在运行运行上述脚本时出现以下错误。

botocore.exceptions.ClientError: An error occurred (AccessDenied) when calling the CopyObject operation: Access Denied

Answer 1

CopyObject() 命令可用于在存储桶之间复制对象，而无需 upload/download。基本上，两个 S3 存储桶相互通信并传输数据。

这个命令也可以用来在不同区域和不同AWS账户的bucket之间进行复制。

如果您希望在属于不同 AWS 账户的 存储桶之间进行复制 ，那么您将需要使用 一组凭据 有：

GetObject 对源存储桶的权限
PutObject 对目标存储桶的权限

另外，请注意 CopyObject() 命令是 发送到目标帐户 。目标存储桶有效地从源存储桶中拉取对象。

根据您的描述，您的代码是从其他帐户中担任角色以获得对源存储桶的读取权限。不幸的是，这对于 CopyObject() 命令来说还不够，因为该命令必须发送到目标存储桶。（是的，从文档中很难辨别这一点。这就是为什么要特别命名源存储桶，而不是目标存储桶。）

因此，在您的情况下，为了能够复制对象，您将需要使用来自 Account-B（目标） 的一组凭据，这些凭据也有权从 Bucket-A （来源）读取。这将要求供应商修改与 Bucket-A.

关联的存储桶策略

如果他们不希望这样做，那么您唯一的选择是使用假定的角色下载对象，然后使用来自的凭据将文件单独上传到您自己的存储桶你自己的 Account-B.

如何使用 boto3 在 2 个不同帐户的 S3 存储桶之间复制文件

How to copy files between S3 buckets in 2 different accounts using boto3

amazon-s3

amazon-web-services

python-3.x

boto3

aws-sts