Snowflake - 加载查询并控制步骤序列的执行

Snowflake - loading queries and controlling the execution of sequence of steps

作为我们整体流程的一部分,数据将从 Influx DB 和 SQL DB 摄取到 Azure blob,思路是使用 Snowflake queries/SP 将数据从 blob 加载到雪花以预定的方式(批处理)。思考过程是使用任务来安排和编排使用 Snowflake 脚本的执行。几个问题,

  1. 可以基于配置创建和执行动态查询table - 例如:复制命令指定要从中加载数据的确切路径和文件。
  2. 作为雪花脚本的一部分,根据对存储在配置数据库中的一系列步骤(查询/SP)的理解,可以与一些控制机制一起按顺序执行。
  3. 可以通过加载到 table 来发送错误记录的电子邮件通知。这是否应该在数据加载过程之后使用 Azure 数据工厂/逻辑应用程序在雪花之外处理。

上述方式是否可行,使用上述方式有什么限制吗?是否有任何替代方法可以考虑以上内容。

您可以使用 SP 动态生成和执行查询。您可以在 SP 的逻辑中链接活动,或通过链接任务 运行 单独的 SP。 Snowflake 中没有生成电子邮件的功能