如何编写 Luigi 工作流程以将数据从 MySQL 加载到 Redshift?

How do I write a Luigi workflow for loading data into Redshift from MySQL?

Luigi 是否支持我执行整个流程?

流程是这样的: 将 MySQL 数据转储到 S3,然后使用复制命令将数据移动到 Redshift。

我可以使用 Luigi 执行上述工作流程吗?

基本上,在 Luigi 中,您可以使用 python 脚本执行任何操作,因为您可以在 Luigi 任务的 run() 方法中编写 python 代码,这意味着实际上没有真正的限制。

查看任务的 Luigi 文档,特别是 运行() 方法,了解更多信息:http://luigi.readthedocs.org/en/stable/tasks.html#task-run

所以,剩下的问题是如何从 python 本身访问 RedShift 和 MySQL,但这是一个单独的问题,我认为谷歌搜索一个好的指南或教程是最好的选择。