Dagster 配置 YAML 中的环境变量

Question

我正在尝试在配置 YAML 文件中提供一个环境变量：

resources:
  be_warehouse:
    config:
      conn_str:
        env: DB_CONN_STR
  analytics_warehouse:
    config:
      conn_str:
        env: WH_DB_CONN_STR

但我收到以下错误：

Invalid scalar at path root:resources:analytics_warehouse:config:conn_str. Value "{'env': 'WH_DB_CONN_STR'}" of type "<class 'dict'>" is not valid for expected type "String".

我在 this official example 中看到过这种语法。我是否漏掉了一些明显的东西？

Answer 1

env: ENV_VAR 支持可用于类型为 StringSource 的配置架构。如果这些是您正在创建的 @resource，您只需要声明 config_schema={'conn_str': StringSource} 而不是仅使用 str.

https://docs.dagster.io/_apidocs/config#dagster.StringSource

Dagster 配置 YAML 中的环境变量

Environment variables in Dagster config YAML

dagster