Luigi直接将文件写入S3

Question

我正在使用 Luigi 创建一个数据管道，我正在尝试将处理后的数据直接写入 S3 存储桶。我使用的代码是：

import luigi
from luigi.s3 import S3Target, S3Client

class myTask(luigi.Task):
    def requires(self):
        return otherTask()

    def output(self):
        client = S3Client('ACCESS_KEY', 'SECRET_KEY')
        return S3Target('s3.amazonaws.com/mybucket/myfolder/myfile.tsv', client=client)

    def run(self):
         fo = self.output().open('w')
         with self.input().open('r') as f:
            data = dosomething_to_input(f)
            fo.write(data)
         fo.close()

在我运行脚本之后，我得到了错误：

S3ResponseError: S3ResponseError: 405 Method Not Allowed

我们可以直接将文件写入S3存储桶吗？

Answer 1

问题解决了！这是因为 s3 buckt 的格式。正确的格式应该是 's3://mybucket/myfile' 405 ERROR 是boto没有识别bucket名称导致的。还需要提到的是，boto 无法识别带有“.”的存储桶名称。在 Python 2.7.* 中，因此您必须使用有效的存储桶名称或在配置文件中更改它。

Luigi直接将文件写入S3

Luigi write file directly to S3

python

amazon-s3

luigi