如何访问 AWS s3 存储桶中的子文件夹（对象）并将其保存到 python 中的列表中？

Question

这是我的 s3 存储桶

s3.Bucket(name='external')

我正在使用 boto3.resource 方法：

s3 = boto3.resource(
    's3',
    region_name='ap-southeast-1',
    aws_access_key_id=aws_access_key_id,
    aws_secret_access_key=aws_secret_access_key
)

s3文件夹结构是这样的：

external\product18\abc.csv
external\product19\abc.csv
external\bom18\csd.csv
external\bom19\zyc.csv

请注意，2018、2019 也在产品和物料清单中。

我试过这样做：

bucket = s3.Bucket(bucket)
print(bucket)
result = bucket.meta.client.list_objects(Bucket=bucket.name,
                                         Delimiter='/')
print(result)                                    
for o in result.get('CommonPrefixes'):
    print(o.get('Prefix'))

这只给我 :

product\
bom\

我真正需要的是年表：

2018\
2019\
2018\
2019\

并将它们存储在两个单独的列表 Product 和 bom

Product =['2018','2019']
Bom = ['2018','2019']

Answer 1

有几种方法可以做到这一点。一种方式如下所示。

基于以下示例，并假设文件夹结构是固定的:

external\bom17\csd.csv
external\bom18\csd.csv
external\bom19\zyc.csv
external\product18\abc.csv
external\product19\abc.csv
external\product20\abc.csv

以下 python 脚本可以运行：

import boto3

from collections import defaultdict

session = boto3.session.Session(profile_name='<profile-name>')

bucket = session.resource('s3').Bucket('external')

key_year = defaultdict(set)

for obj in bucket.objects.all():
    key_split = obj.key.split('\')
    key_year[key_split[1]].add(key_split[2])

for k in key_year:
    print(k, key_year[k])

在脚本中 defaultdict 和 set 用于确保存储唯一的年份。输出将是：

bom {'2017', '2019', '2018'}
product {'2020', '2018', '2019'}