boto3:启用 CDN 后如何与 DigitalOcean S3 Spaces 交互
boto3: How to interract with DigitalOcean S3 Spaces when CDN is enabled
我正在使用启用了 CDN.
的 DigitalOcean Spaces(S3 存储协议)
s3 上的任何文件都可以通过给定形式直接 URL 访问:
https://my-bucket.fra1.digitaloceanspaces.com/<file_key>
如果启用 CDN ,可以通过其他 CDN URL:
访问文件
https://my-bucket.fra1.cdn.digitaloceanspaces.com/<file_key>
其中 fra1
是 region_name.
当我为 Python 使用 boto3
SDK 时,文件 URL 如下(由 boto3 生成):
https://fra1.digitaloceanspaces.com/my-bucket/<file_key>
# just note that bucket name is no more a domain part!
这种格式也可以正常工作。
但是,如果启用了 CDN - 文件 url 会导致错误:
EndpointConnectionError: Could not connect to the endpoint URL: https://fra1.cdn.digitaloceanspaces.com/my-bucket/<file_key>
假设 endpoint_url 是从
default_endpoint=https://fra1.digitaloceanspaces.com
至
default_endpoint=https://fra1.cdn.digitaloceanspaces.com
如何使用正确的 URL 连接到 CDN 而不会出现错误?
为什么 boto3 使用不同的 URL 格式?在这种情况下是否可以应用任何解决方法?
代码:
s3_client = boto3.client('s3',
region_name=s3_configs['default_region'],
endpoint_url=s3_configs['default_endpoint'],
aws_access_key_id=s3_configs['bucket_access_key'],
aws_secret_access_key=s3_configs['bucket_secret_key'])
s3_client.download_file(bucket_name,key,local_filepath)
boto3 guide 用于 DigitalOcean 空间。
这是我也试过但没有用的方法:
更新
基于@Amit Singh 的回答:
正如我之前提到的,我已经用预签名的 URL 尝试过这个技巧。
我有这样的网址
https://fra1.digitaloceanspaces.com/<my-bucket>/interiors/uploaded/images/07IRgHJ2PFhVqVrJDCIpzhghqe4TwK1cSSUXaC4T.jpeg?<presigned-url-params>
存储桶名称出现在端点之后。我不得不手动将它移动到域级别:
https://<my-bucket>.fra1.cdn.digitaloceanspaces.com/interiors/uploaded/images/07IRgHJ2PFhVqVrJDCIpzhghqe4TwK1cSSUXaC4T.jpeg?<presigned-url-params>
有了这个 URL 我现在可以连接到 Digital ocean,但是出现另一个错误:
This XML file does not appear to have any style information associated with it. The document tree is shown below.
<Error>
<Code>SignatureDoesNotMatch</Code>
<RequestId>tx00000000000008dfdbc88-006005347c-604235a-fra1a</RequestId>
<HostId>604235a-fra1a-fra1</HostId>
</Error>
作为解决方法,我已经厌倦了使用签名 s3v4
:
s3_client = boto3.client('s3',
region_name=configs['default_region'],
endpoint_url=configs['default_endpoint'],
aws_access_key_id=configs['bucket_access_key'],
aws_secret_access_key=configs['bucket_secret_key'],
config= boto3.session.Config(signature_version='s3v4'))
但还是失败了。
boto3
是 Amazon S3 而不是 Digital Ocean Spaces 的客户端库。因此,boto3
将无法识别 CDN URL fra1.cdn.digitaloceanspaces.com
,因为它是由 Digital Ocean 提供的,而带有 CDN 的 URL 不是受支持的 URI 模式之一。我不完全理解 CDN 在内部是如何工作的,所以我猜测实施此重定向以更正 URL.
可能存在挑战
现在已经很清楚了,让我们看看如何获得预签名的 CDN URL。假设,您的 CDN URL 是 https://fra1.cdn.digitaloceanspaces.com
,您的 space 名称是 my-space
。我们想要为存储在 space.
中的对象 my-example-object
获得预签名 URL
import os
import boto3
from botocore.client import Config
# Initialize the client
session = boto3.session.Session()
client = session.client('s3',
region_name='fra1',
endpoint_url='https://fra1.digitaloceanspaces.com', # Remove `.cdn` from the URL
aws_access_key_id=os.getenv('SPACES_KEY'),
aws_secret_access_key=os.getenv('SPACES_SECRET'),
config=Config(s3={'addressing_style': 'virtual'}))
# Get a presigned URL for object
url = client.generate_presigned_url(ClientMethod='get_object',
Params={'Bucket': 'my-space',
'Key': 'my-example-object'},
ExpiresIn=300)
print(url)
预签名 URL 看起来像:
https://my-space.fra1.digitaloceanspaces.com/my-example-object?AWSAccessKeyId=EXAMPLE7UQOTHDTF3GK4&Content-Type=text&Expires=1580419378&Signature=YIXPlynk4BALXE6fH7vqbnwjSEw%3D
手动或以编程方式在两者之间添加 cdn
,以备不时之需,这样您的最终 URL 将变为:
https://my-space.fra1.cdn.digitaloceanspaces.com/my-example-object?AWSAccessKeyId=EXAMPLE7UQOTHDTF3GK4&Content-Type=text&Expires=1580419378&Signature=YIXPlynk4BALXE6fH7vqbnwjSEw%3D
这是您的 CDN URL。
根据@Amit Singh 的回答,我对这个问题做了额外的研究。
为了使 boto3 预签名 URL 正常工作,我对 client
和 generate_presigned_url()
参数进行了以下更新。
s3_client = boto3.client('s3',
region_name=configs['default_region'],
endpoint_url=configs['default_endpoint'],
aws_access_key_id=configs['bucket_access_key'],
aws_secret_access_key=configs['bucket_secret_key'],
config=boto3.session.Config(signature_version='s3v4', retries={
'max_attempts': 10,
'mode': 'standard'
},
s3={'addressing_style': "virtual"}, ))
...
response = s3_client.generate_presigned_url('get_object',
Params={'Bucket': bucket_name,
'Key': object_name},
ExpiresIn=3600,
HttpMethod=None
)
之后,.cdn
域部分应该添加在区域名称之后。
我正在使用启用了 CDN.
的 DigitalOcean Spaces(S3 存储协议)s3 上的任何文件都可以通过给定形式直接 URL 访问:
https://my-bucket.fra1.digitaloceanspaces.com/<file_key>
如果启用 CDN ,可以通过其他 CDN URL:
访问文件https://my-bucket.fra1.cdn.digitaloceanspaces.com/<file_key>
其中 fra1
是 region_name.
当我为 Python 使用 boto3
SDK 时,文件 URL 如下(由 boto3 生成):
https://fra1.digitaloceanspaces.com/my-bucket/<file_key>
# just note that bucket name is no more a domain part!
这种格式也可以正常工作。
但是,如果启用了 CDN - 文件 url 会导致错误:
EndpointConnectionError: Could not connect to the endpoint URL: https://fra1.cdn.digitaloceanspaces.com/my-bucket/<file_key>
假设 endpoint_url 是从
default_endpoint=https://fra1.digitaloceanspaces.com
至
default_endpoint=https://fra1.cdn.digitaloceanspaces.com
如何使用正确的 URL 连接到 CDN 而不会出现错误? 为什么 boto3 使用不同的 URL 格式?在这种情况下是否可以应用任何解决方法?
代码:
s3_client = boto3.client('s3',
region_name=s3_configs['default_region'],
endpoint_url=s3_configs['default_endpoint'],
aws_access_key_id=s3_configs['bucket_access_key'],
aws_secret_access_key=s3_configs['bucket_secret_key'])
s3_client.download_file(bucket_name,key,local_filepath)
boto3 guide 用于 DigitalOcean 空间。
这是我也试过但没有用的方法:
更新 基于@Amit Singh 的回答:
正如我之前提到的,我已经用预签名的 URL 尝试过这个技巧。 我有这样的网址
https://fra1.digitaloceanspaces.com/<my-bucket>/interiors/uploaded/images/07IRgHJ2PFhVqVrJDCIpzhghqe4TwK1cSSUXaC4T.jpeg?<presigned-url-params>
存储桶名称出现在端点之后。我不得不手动将它移动到域级别:
https://<my-bucket>.fra1.cdn.digitaloceanspaces.com/interiors/uploaded/images/07IRgHJ2PFhVqVrJDCIpzhghqe4TwK1cSSUXaC4T.jpeg?<presigned-url-params>
有了这个 URL 我现在可以连接到 Digital ocean,但是出现另一个错误:
This XML file does not appear to have any style information associated with it. The document tree is shown below.
<Error>
<Code>SignatureDoesNotMatch</Code>
<RequestId>tx00000000000008dfdbc88-006005347c-604235a-fra1a</RequestId>
<HostId>604235a-fra1a-fra1</HostId>
</Error>
作为解决方法,我已经厌倦了使用签名 s3v4
:
s3_client = boto3.client('s3',
region_name=configs['default_region'],
endpoint_url=configs['default_endpoint'],
aws_access_key_id=configs['bucket_access_key'],
aws_secret_access_key=configs['bucket_secret_key'],
config= boto3.session.Config(signature_version='s3v4'))
但还是失败了。
boto3
是 Amazon S3 而不是 Digital Ocean Spaces 的客户端库。因此,boto3
将无法识别 CDN URL fra1.cdn.digitaloceanspaces.com
,因为它是由 Digital Ocean 提供的,而带有 CDN 的 URL 不是受支持的 URI 模式之一。我不完全理解 CDN 在内部是如何工作的,所以我猜测实施此重定向以更正 URL.
现在已经很清楚了,让我们看看如何获得预签名的 CDN URL。假设,您的 CDN URL 是 https://fra1.cdn.digitaloceanspaces.com
,您的 space 名称是 my-space
。我们想要为存储在 space.
my-example-object
获得预签名 URL
import os
import boto3
from botocore.client import Config
# Initialize the client
session = boto3.session.Session()
client = session.client('s3',
region_name='fra1',
endpoint_url='https://fra1.digitaloceanspaces.com', # Remove `.cdn` from the URL
aws_access_key_id=os.getenv('SPACES_KEY'),
aws_secret_access_key=os.getenv('SPACES_SECRET'),
config=Config(s3={'addressing_style': 'virtual'}))
# Get a presigned URL for object
url = client.generate_presigned_url(ClientMethod='get_object',
Params={'Bucket': 'my-space',
'Key': 'my-example-object'},
ExpiresIn=300)
print(url)
预签名 URL 看起来像:
https://my-space.fra1.digitaloceanspaces.com/my-example-object?AWSAccessKeyId=EXAMPLE7UQOTHDTF3GK4&Content-Type=text&Expires=1580419378&Signature=YIXPlynk4BALXE6fH7vqbnwjSEw%3D
手动或以编程方式在两者之间添加 cdn
,以备不时之需,这样您的最终 URL 将变为:
https://my-space.fra1.cdn.digitaloceanspaces.com/my-example-object?AWSAccessKeyId=EXAMPLE7UQOTHDTF3GK4&Content-Type=text&Expires=1580419378&Signature=YIXPlynk4BALXE6fH7vqbnwjSEw%3D
这是您的 CDN URL。
根据@Amit Singh 的回答,我对这个问题做了额外的研究。
为了使 boto3 预签名 URL 正常工作,我对 client
和 generate_presigned_url()
参数进行了以下更新。
s3_client = boto3.client('s3',
region_name=configs['default_region'],
endpoint_url=configs['default_endpoint'],
aws_access_key_id=configs['bucket_access_key'],
aws_secret_access_key=configs['bucket_secret_key'],
config=boto3.session.Config(signature_version='s3v4', retries={
'max_attempts': 10,
'mode': 'standard'
},
s3={'addressing_style': "virtual"}, ))
...
response = s3_client.generate_presigned_url('get_object',
Params={'Bucket': bucket_name,
'Key': object_name},
ExpiresIn=3600,
HttpMethod=None
)
之后,.cdn
域部分应该添加在区域名称之后。