Python 脚本将 Json 文件实时存储到 amazon S3

Question

我有一个 python 代码，可以使用 Twitter Streaming API 实时向我发送推文。我已将输出存储到 json 文件中，该文件会不断动态更新为新推文 arrive.However，我想将此 json 保存到亚马逊 s3 我可以使用它来触发使用 amazon lambda 的事件 service.Can 有人建议我解决这个问题的方法吗？

Answer 1

Amazon 有一个 python 库来与其网络服务进行交互。它被称为 Boto，同时支持 S3 和 lambda 服务。

要将 json 保存到 S3：

import boto3

s3 = boto3.resource('s3')
s3.create_bucket(Bucket='jsonbucket')
s3.Object('jsonbucket', 'yourstoredjson.json').put(Body=open('yourlocaljson.json', 'rb'))

注意：在使用 boto 将文件保存到 S3 之前，您必须 set up authentication credentials 对于 AWS。