dbt 模型需要很长时间 运行
dbt models taking long to run
我有一些复杂的模型都具体化为视图。简单的视图没有问题,但是当涉及到具有多个连接的复杂视图时,创建它们需要很长时间。
查看查询历史记录,所有创建视图语句都以 select 语句开头,这些语句似乎是 DBT 内部的(类似于 __dbt_sbq),限制为 0。
我期待更快 dbt run
,因为所有模型都具体化为视图,查询性能只在查询视图时才重要,而不是在模型创建时。
如何对其进行优化以运行 更快地创建模型?有没有办法跳过 select 查询的执行和 运行 只是创建视图语句
数据库 - 雪花
DBT 版本 1.1.0
该查询由 get_columns_in_query
宏生成。 Source
看来 dbt-snowflake 仅在 persist_docs
is enabled (this copies descriptions from schema.yml files into comments on the objects in snowflake). See this issue and the code
时使用它
您应该禁用 persist_docs
并且您应该会看到相当大的加速。
我有一些复杂的模型都具体化为视图。简单的视图没有问题,但是当涉及到具有多个连接的复杂视图时,创建它们需要很长时间。
查看查询历史记录,所有创建视图语句都以 select 语句开头,这些语句似乎是 DBT 内部的(类似于 __dbt_sbq),限制为 0。
我期待更快 dbt run
,因为所有模型都具体化为视图,查询性能只在查询视图时才重要,而不是在模型创建时。
如何对其进行优化以运行 更快地创建模型?有没有办法跳过 select 查询的执行和 运行 只是创建视图语句
数据库 - 雪花
DBT 版本 1.1.0
该查询由 get_columns_in_query
宏生成。 Source
看来 dbt-snowflake 仅在 persist_docs
is enabled (this copies descriptions from schema.yml files into comments on the objects in snowflake). See this issue and the code
您应该禁用 persist_docs
并且您应该会看到相当大的加速。