Luigi 从代码中设置配置
Luigi set config from within the code
我已经将一组 luigi 任务打包成一个包。目前，每个 etl-task 在同一目录中都有自己的 luigi.cfg，但是由于所有这些 .cfg 文件都是相同的，所以它看起来不是最理想的。最重要的是，我更愿意从不同的 package/environmental var 编写 S3 凭据，而不是存储在 git 中的平面文件中。
从包内为 luigi 设置 default/general 配置的最佳方法是什么？
看起来 luigi.Config 和 luigi.interface.core 包很有前途，但我仍然不确定我需要在哪里 execute/initiate 它们。
您可以尝试使用
luigi.configuration.get_config().set('core', 'some_key', 'some_value')
在 运行 实例中。
您可以使用
访问相同的数据
luigi.configuration.get_config().get('core', 'some_key').
我已经将一组 luigi 任务打包成一个包。目前，每个 etl-task 在同一目录中都有自己的 luigi.cfg，但是由于所有这些 .cfg 文件都是相同的，所以它看起来不是最理想的。最重要的是，我更愿意从不同的 package/environmental var 编写 S3 凭据，而不是存储在 git 中的平面文件中。
从包内为 luigi 设置 default/general 配置的最佳方法是什么？
看起来 luigi.Config 和 luigi.interface.core 包很有前途，但我仍然不确定我需要在哪里 execute/initiate 它们。
您可以尝试使用
luigi.configuration.get_config().set('core', 'some_key', 'some_value')
在 运行 实例中。 您可以使用
访问相同的数据luigi.configuration.get_config().get('core', 'some_key').