使用 Boto3 配置文件覆盖 S3 端点
Override S3 endpoint using Boto3 configuration file
概览:
我正在尝试使用配置文件 (~/aws/confg
) 覆盖 boto3
中的某些变量。
在我的用例中,我想使用 fakes3
服务并将 S3 请求发送到本地主机。
示例:
在 boto
中(不是 boto3
),我可以在 ~/.boto
中创建一个与此类似的配置:
[s3]
host = localhost
calling_format = boto.s3.connection.OrdinaryCallingFormat
[Boto]
is_secure = False
客户端可以成功获取所需的更改,而不是将流量发送到真正的 S3 服务,而是将其发送到本地主机。
>>> import boto
>>> boto.connect_s3()
S3Connection:localhost
>>>
我尝试了什么:
我正在尝试使用 boto3
库获得类似的结果。通过查看源代码,我发现我可以使用 ~/aws/config
位置。我还在 botocore
.
的 unittests
文件夹中找到了示例配置
我尝试修改配置以实现所需的行为。但不幸的是,它不起作用。
配置如下:
[default]
aws_access_key_id = XXXXXXXXX
aws_secret_access_key = YYYYYYYYYYYYYY
region = us-east-1
is_secure = False
s3 =
host = localhost
问题:
- 如何使用配置文件覆盖
clients
个变量?
- 在哪里可以找到配置允许变量的完整列表?
boto3
仅从该配置文件中读取 s3 的签名版本。您可能想要打开一个功能请求,但现在这里是您可以处理自定义端点的方法:
import boto3
from botocore.utils import fix_s3_host
resource = boto3.resource(service_name='s3', endpoint_url='http://localhost')
resource.meta.client.meta.events.unregister('before-sign.s3', fix_s3_host)
关于元的这一点很重要,因为 boto3
在认为合适时 1 会自动将端点更改为 your_bucket_name.s3.amazonaws.com
。如果您将同时使用自己的主机和 s3,您可能希望覆盖这些功能而不是完全删除它。
您不能在配置文件中设置主机,但是您可以使用 boto3 从您的代码中覆盖它。
import boto3
session = boto3.session.Session()
s3_client = session.client(
service_name='s3',
aws_access_key_id='aaa',
aws_secret_access_key='bbb',
endpoint_url='http://localhost',
)
然后就可以正常互动了
print(s3_client.list_buckets())
另一种方式:
import boto3
s3client = boto3.client('s3', endpoint_url='http://X.X.x.X:8080/',
aws_access_key_id = 'XXXXXXX',
aws_secret_access_key = 'XXXXXXXX')
bucket_name = 'aaaaa'
s3client.create_bucket(Bucket=bucket_name)
正在使用 boto3 资源:
import boto3
# use third party object storage
s3 = boto3.resource('s3', endpoint_url='https://URL:443',
aws_access_key_id = 'AccessKey',
aws_secret_access_key = 'SecertKey')
# Print out bucket names
for bucket in s3.buckets.all():
print(bucket.name)
我刚刚向 boto3 提交了一个 PR 以添加一个环境变量,以允许您覆盖 endpoint_url 如果您需要使用使用 boto3 的依赖模块(在这种情况下您可能无法直接修改对boto3.client的调用)
s3_client = boto3.client(
"s3",
"us-east-1",
aws_access_key_id="test_id",
aws_secret_access_key="test_key",
endpoint_url="https://localhost:7000",
use_ssl=True,
verify=False,
)
概览:
我正在尝试使用配置文件 (~/aws/confg
) 覆盖 boto3
中的某些变量。
在我的用例中,我想使用 fakes3
服务并将 S3 请求发送到本地主机。
示例:
在 boto
中(不是 boto3
),我可以在 ~/.boto
中创建一个与此类似的配置:
[s3]
host = localhost
calling_format = boto.s3.connection.OrdinaryCallingFormat
[Boto]
is_secure = False
客户端可以成功获取所需的更改,而不是将流量发送到真正的 S3 服务,而是将其发送到本地主机。
>>> import boto
>>> boto.connect_s3()
S3Connection:localhost
>>>
我尝试了什么:
我正在尝试使用 boto3
库获得类似的结果。通过查看源代码,我发现我可以使用 ~/aws/config
位置。我还在 botocore
.
unittests
文件夹中找到了示例配置
我尝试修改配置以实现所需的行为。但不幸的是,它不起作用。
配置如下:
[default]
aws_access_key_id = XXXXXXXXX
aws_secret_access_key = YYYYYYYYYYYYYY
region = us-east-1
is_secure = False
s3 =
host = localhost
问题:
- 如何使用配置文件覆盖
clients
个变量? - 在哪里可以找到配置允许变量的完整列表?
boto3
仅从该配置文件中读取 s3 的签名版本。您可能想要打开一个功能请求,但现在这里是您可以处理自定义端点的方法:
import boto3
from botocore.utils import fix_s3_host
resource = boto3.resource(service_name='s3', endpoint_url='http://localhost')
resource.meta.client.meta.events.unregister('before-sign.s3', fix_s3_host)
关于元的这一点很重要,因为 boto3
在认为合适时 1 会自动将端点更改为 your_bucket_name.s3.amazonaws.com
。如果您将同时使用自己的主机和 s3,您可能希望覆盖这些功能而不是完全删除它。
您不能在配置文件中设置主机,但是您可以使用 boto3 从您的代码中覆盖它。
import boto3
session = boto3.session.Session()
s3_client = session.client(
service_name='s3',
aws_access_key_id='aaa',
aws_secret_access_key='bbb',
endpoint_url='http://localhost',
)
然后就可以正常互动了
print(s3_client.list_buckets())
另一种方式:
import boto3
s3client = boto3.client('s3', endpoint_url='http://X.X.x.X:8080/',
aws_access_key_id = 'XXXXXXX',
aws_secret_access_key = 'XXXXXXXX')
bucket_name = 'aaaaa'
s3client.create_bucket(Bucket=bucket_name)
正在使用 boto3 资源:
import boto3
# use third party object storage
s3 = boto3.resource('s3', endpoint_url='https://URL:443',
aws_access_key_id = 'AccessKey',
aws_secret_access_key = 'SecertKey')
# Print out bucket names
for bucket in s3.buckets.all():
print(bucket.name)
我刚刚向 boto3 提交了一个 PR 以添加一个环境变量,以允许您覆盖 endpoint_url 如果您需要使用使用 boto3 的依赖模块(在这种情况下您可能无法直接修改对boto3.client的调用)
s3_client = boto3.client(
"s3",
"us-east-1",
aws_access_key_id="test_id",
aws_secret_access_key="test_key",
endpoint_url="https://localhost:7000",
use_ssl=True,
verify=False,
)