AWS Glue 书签:运行 作业与触发器
AWS Glue Bookmark: run job vs trigger
我想知道如果我将 运行 Job 与 Trigger 运行s.
示例
我使用 运行 作业 按钮手动 运行 我的作业,并处理特定文件夹中的输入文件。在此输入文件夹中创建新文件。半小时后,计划的触发器触发作业。
计划的触发器会知道 "manual" 运行 作业处理的文件还是不同的书签过程?
作业书签的检查点相对于 transformation_ctx 保存,当 job.commit()
命令来自脚本 运行 时提交检查点更新。
由于 运行通过触发器或手动启动作业,导致调用相同的 API 操作 (StartJobRun),并且这些作业 运行 实际上是 运行ning同样的代码,每个新作业 运行 都会知道前一个 运行 的书签更新。
我想知道如果我将 运行 Job 与 Trigger 运行s.
示例
我使用 运行 作业 按钮手动 运行 我的作业,并处理特定文件夹中的输入文件。在此输入文件夹中创建新文件。半小时后,计划的触发器触发作业。
计划的触发器会知道 "manual" 运行 作业处理的文件还是不同的书签过程?
作业书签的检查点相对于 transformation_ctx 保存,当 job.commit()
命令来自脚本 运行 时提交检查点更新。
由于 运行通过触发器或手动启动作业,导致调用相同的 API 操作 (StartJobRun),并且这些作业 运行 实际上是 运行ning同样的代码,每个新作业 运行 都会知道前一个 运行 的书签更新。