将 API 文件加载到 S3 中的子文件夹时粘合作业失败

Question

我是新手。我使用 python 脚本创建了一个简单的 Glue 作业，该脚本发送 API 请求并将数据加载到 S3。将数据加载到顶部 S3 存储桶 (s3://my-bucket) 时，它工作正常，但当我更改目标目录以将文件加载到 S3 (s3://my-bucket/log-data) 的子目录时，作业失败。以下脚本有效并将文件 mydata.txt 加载到存储桶中。

import request
import boto3
URL = "https://jsonplaceholder.typicode.com/todos/1"
r = requests.get(url = URL)
s3_client = boto3.client('s3',region_name='eu-west-2')
s3_client.put_object(Body=r.text, Bucket='my-bucket', Key='mydata.txt')` '

当我更改代码的最后一行以将文件加载到 S3 存储桶的子目录中时

s3_client.put_object(Body=r.text, Bucket='my-bucket/log-data', Key='mydata.txt')

任何建议将不胜感激。谢谢，

Answer 1

尝试将前缀添加到 put_object

中的 Key arg

import request
import boto3
URL = "https://jsonplaceholder.typicode.com/todos/1"
r = requests.get(url = URL)
s3_client = boto3.client('s3',region_name='eu-west-2')
s3_client.put_object(Body=r.text, Bucket='my-bucket', Key='log-data/mydata.txt')

将 API 文件加载到 S3 中的子文件夹时粘合作业失败

Glue job failing when loading API files to subfolder in S3

python-3.x

aws-glue