将 tsv 文件从本地文件系统移动到 luigi 中的 S3

Question

下面的程序没有输出任何东西，也没有抛出任何错误。我是否遗漏了 to_S3() class 中 run() 方法形式的内容？

class to_S3(luigi.Task):

    #The class Mysql_to_tsv converts the data returned by a query on a Mysqldb and stores the data in a tsv in a local file.

    def requires(self):
        return [Mysql_to_tsv]

    def output(self):
        return luigi.S3Target("https://s3.amazonaws.com/bucket-name/luigi_attempt.tsv")

Mysql_to_tsv()class的output()方法是：

def output(self):
        return luigi.LocalTarget('/Users/user/Desktop/Work/Luigi/test_data.tsv')

请帮助正确class执行任务。

Answer 1

是的，所有非外部 luigi 任务都需要一个 run() 方法。

Answer 2

我最初想要的是将一些数据放入 S3 存储桶中。

因此，不需要 output() 方法来执行运行特定任务（例如：将数据转储到 S3 存储桶。）

可以直接在run()方法中完成，output()可以用来检查标志或存在。

因此，正确的实施方式是：

class to_S3(luigi.Task):

    def requires(self):
        return [Mysql_to_csv()]


    def run(self):

        #Creating a connection
        access_key = ""
        access_secret = ""
        conn = S3Connection(access_key, access_secret)

        #Connecting to the bucket
        bucket_name = ""
        bucket = conn.get_bucket(bucket_name)

        #Setting up the keys
        k = Key(bucket)
        k.key = "sample1"
        k.set_contents_from_filename("../test_data.tsv")

将 tsv 文件从本地文件系统移动到 luigi 中的 S3

Moving a tsv file from local file system to S3 in luigi

python

amazon-s3

tsv

luigi