我们可以参数化雪花任务吗?
Can we parametrize snowflake tasks?
我需要一次性加载历史数据,之后每隔10分钟增量加载一次。
有没有办法将雪花任务参数化为第一个运行历史负载,然后更改参数以执行增量负载?如果没有,您能否建议一种更好的方法来通过任务处理历史(一次性)和增量负载
注意:雪花流的底层table包含历史记录,实施stream/tasks后的任何新数据都被视为增量。
如果你有一个调用存储过程的任务,你可以让存储过程首先检查目标 table 是否为空(或者任何你想要的检查。只要你可以把它写成代码,它会工作。哎呀,你可以让它插入一个任务 运行 登录到一个单独的 table,并检查它是否是第一次 运行。)然后执行在这种情况下的初始历史负载,而不是其他情况。
然后你第一次 运行 它,它会做一个代码路径,永远会做另一个。
我需要一次性加载历史数据,之后每隔10分钟增量加载一次。
有没有办法将雪花任务参数化为第一个运行历史负载,然后更改参数以执行增量负载?如果没有,您能否建议一种更好的方法来通过任务处理历史(一次性)和增量负载
注意:雪花流的底层table包含历史记录,实施stream/tasks后的任何新数据都被视为增量。
如果你有一个调用存储过程的任务,你可以让存储过程首先检查目标 table 是否为空(或者任何你想要的检查。只要你可以把它写成代码,它会工作。哎呀,你可以让它插入一个任务 运行 登录到一个单独的 table,并检查它是否是第一次 运行。)然后执行在这种情况下的初始历史负载,而不是其他情况。
然后你第一次 运行 它,它会做一个代码路径,永远会做另一个。