Azure ADF - 如何仅在新文件到达后才进行管道活动？
Azure ADF - how to proceed with pipeline activities only after new files arrival?
我已经使用 databricks notebooks 编写了通用数据文件到达检查例程，它接受文件名和时间，指定可接受的文件新鲜度。许多管道使用此笔记本并传递文件名元组，并在笔记本末尾 returns True 或 False，以指示下一个工作流 activity 是否可以启动。到目前为止，一切都很好。
现在我的问题是如何在 Azure ADF 管道中使用它，如果它失败，它应该等待 30 分钟左右，然后再次通过笔记本上方的 运行ning 再次检查？
此笔记本应 运行 首先，这样如果新文件已经存在，则不应等待
既然你说的是笔记本activity，你可以添加一个等待activity“失败”并设置等待时间。等待后添加一个 executepipelien actvity 。这个执行管道应该指向一个管道，其中一个执行管道（再次）指向具有笔记本 activity 的主管道。基本上这只是一个循环，但只有当你失败时才会执行。
我已经使用 databricks notebooks 编写了通用数据文件到达检查例程，它接受文件名和时间，指定可接受的文件新鲜度。许多管道使用此笔记本并传递文件名元组，并在笔记本末尾 returns True 或 False，以指示下一个工作流 activity 是否可以启动。到目前为止，一切都很好。 现在我的问题是如何在 Azure ADF 管道中使用它，如果它失败，它应该等待 30 分钟左右，然后再次通过笔记本上方的 运行ning 再次检查？ 此笔记本应 运行 首先，这样如果新文件已经存在，则不应等待
既然你说的是笔记本activity，你可以添加一个等待activity“失败”并设置等待时间。等待后添加一个 executepipelien actvity 。这个执行管道应该指向一个管道，其中一个执行管道（再次）指向具有笔记本 activity 的主管道。基本上这只是一个循环，但只有当你失败时才会执行。