运行 一个连续的 Azure 数据工厂管道
Run an Azure Data Factory Pipeline Continuously
我需要将数据从一个 SQL table 增量复制到另一个 SQL table。水印或键列是标识列。我的老板希望我在加载完成后立即重新启动加载...如您所知，完成时间可能会有所不同。在 Azure Data Factory 中，触发选项有 Scheduled、Tumbling Window 和 Custom Event。有谁知道哪个选项可以让我实现这种连续的 运行 管道以及如何配置它？
ADF 中的管道是 batch-based。您可以将“微批次”设置为 1 分钟（带计划触发）或 5 分钟（带翻滚）window。
ADF 将 运行 批量处理。如果你想持续加载数据，那么你可以使用 Stream Analytics / Event Hub 来加载 real-time data
创建新管道。称之为“运行 永远”。添加带有 never-true 条件的“直到”activity，例如@equals(1, 2).
在 until 内执行在 table 之间复制的管道。确保勾选“等待完成”。
如果 table 复制失败，那么“运行 永远”将失败并且必须手动 re-started。您可能不希望安排“运行 forever”，因为安排的调用将排队，事实上，不会失败。
我需要将数据从一个 SQL table 增量复制到另一个 SQL table。水印或键列是标识列。我的老板希望我在加载完成后立即重新启动加载...如您所知，完成时间可能会有所不同。在 Azure Data Factory 中，触发选项有 Scheduled、Tumbling Window 和 Custom Event。有谁知道哪个选项可以让我实现这种连续的 运行 管道以及如何配置它？
ADF 中的管道是 batch-based。您可以将“微批次”设置为 1 分钟（带计划触发）或 5 分钟（带翻滚）window。
ADF 将 运行 批量处理。如果你想持续加载数据，那么你可以使用 Stream Analytics / Event Hub 来加载 real-time data
创建新管道。称之为“运行 永远”。添加带有 never-true 条件的“直到”activity，例如@equals(1, 2).
在 until 内执行在 table 之间复制的管道。确保勾选“等待完成”。
如果 table 复制失败，那么“运行 永远”将失败并且必须手动 re-started。您可能不希望安排“运行 forever”，因为安排的调用将排队，事实上，不会失败。