Downloading files from AWS S3 Bucket with boto3 results in ClientError: An error occurred (403): Forbidden

Question

我正在尝试使用 https://db.humanconnectome.org 提供的访问密钥 ID 和秘密访问密钥从 s3 存储桶下载文件。但是，即使我能够导航数据库并找到文件（因为我已经通过 aws cli 配置了我的凭据），尝试下载它们也会导致以下错误： "botocore.exceptions.ClientError: An error occurred (403) when calling the HeadObject operation: Forbidden"

使用相同的凭据，我可以浏览相同的数据库并通过 Cyber​​duck 等云存储浏览器手动下载文件，因此 Cyber​​duck 访问数据的方式不会引发 403 Forbidden 错误。

我还验证了 boto3 能够访问我的 aws 凭据，并且还通过硬编码对其进行了尝试。

我尝试下载数据的方式非常简单，并复制了 boto3 文档示例：https://boto3.amazonaws.com/v1/documentation/api/latest/guide/s3-example-download-file.html

s3 = boto3.client('s3',
    aws_access_key_id=ACCESS_KEY_ID,
    aws_secret_access_key=ACCESS_KEY,)

s3.download_file(Bucket=BUCKET_NAME, Key=FILE_KEY, Filename=FILE_NAME)

这应该将文件下载到 FILE_NAME 给出的位置和文件，但会调用 403 禁止错误。

Answer 1

您在下载文件时还需要传递存储区区域。尝试使用 CLI 配置 region 或在创建客户端时传递 region_name。

s3 = boto3.client('s3',
    aws_access_key_id=ACCESS_KEY_ID,
    aws_secret_access_key=ACCESS_KEY,
    region_name=AWS_REGION)

https://boto3.amazonaws.com/v1/documentation/api/latest/guide/quickstart.html

Answer 2

我知道这听起来很荒谬，但请确保您的存储桶名称中没有拼写错误或类似的错误。

我花了很长时间试图解决这个问题，才意识到我在为我的 s3 存储桶设置的环境变量中添加了一个额外的字母。

奇怪的是，他们给你的是禁止错误而不是“未找到”错误，但他们确实这样做了。