如何将 Spark 配置参数传递给 DBT？

Question

我正在使用 DBT 连接到 AWS/EMR。我能够运行 Spark/SQL 查询但是我在哪里设置参数，例如 spark.sql.shuffle.partitions，在正常代码中你将传递：

sqlContext.setConf("spark.sql.shuffle.partitions", "1200")

?

Answer 1

由于我在这里没有得到任何答案，我写下我目前认为的方式（但重复，不确定它是否是正确的方式）：

{{ config(
    materialized='table',
    pre_hook=['SET spark.sql.shuffle.partitions=1200'],
    ...
)}}

How to pass Spark configuration parameters to DBT?