如何编写 Luigi 工作流程以将数据从 MySQL 加载到 Redshift?
How do I write a Luigi workflow for loading data into Redshift from MySQL?
Luigi 是否支持我执行整个流程?
流程是这样的:
将 MySQL 数据转储到 S3,然后使用复制命令将数据移动到 Redshift。
我可以使用 Luigi 执行上述工作流程吗?
基本上,在 Luigi 中,您可以使用 python 脚本执行任何操作,因为您可以在 Luigi 任务的 run()
方法中编写 python 代码,这意味着实际上没有真正的限制。
查看任务的 Luigi 文档,特别是 运行() 方法,了解更多信息:http://luigi.readthedocs.org/en/stable/tasks.html#task-run
所以,剩下的问题是如何从 python 本身访问 RedShift 和 MySQL,但这是一个单独的问题,我认为谷歌搜索一个好的指南或教程是最好的选择。
Luigi 是否支持我执行整个流程?
流程是这样的: 将 MySQL 数据转储到 S3,然后使用复制命令将数据移动到 Redshift。
我可以使用 Luigi 执行上述工作流程吗?
基本上,在 Luigi 中,您可以使用 python 脚本执行任何操作,因为您可以在 Luigi 任务的 run()
方法中编写 python 代码,这意味着实际上没有真正的限制。
查看任务的 Luigi 文档,特别是 运行() 方法,了解更多信息:http://luigi.readthedocs.org/en/stable/tasks.html#task-run
所以,剩下的问题是如何从 python 本身访问 RedShift 和 MySQL,但这是一个单独的问题,我认为谷歌搜索一个好的指南或教程是最好的选择。