如何在 Glue Spark ETL 作业上倒带作业书签?
How to rewind Job Bookmarks on Glue Spark ETL job?
我已阅读here,现在 Glue 提供了为 Spark ETL 作业倒带作业书签的功能。
不过,我还没有找到有关如何执行此操作的任何信息。 "paused" 作业书签选项中的子选项似乎对倒回作业书签很有用,但我找不到如何实现它们(我正在使用 Glue 控制台。)
您需要在“作业参数”部分传递以下参数。作业书签已暂停。
job-bookmark-from <from-value>
是 运行 ID,它表示在最后一次成功 运行 之前处理的所有输入,包括指定的 运行 ID。
job-bookmark-to <to-value>
是 运行 ID,它表示在指定的 运行 ID 之前并包括在最后一次成功 运行 之前处理的所有输入。相应的输入(不包括由 标识的输入)由作业处理。
我已阅读here,现在 Glue 提供了为 Spark ETL 作业倒带作业书签的功能。
不过,我还没有找到有关如何执行此操作的任何信息。 "paused" 作业书签选项中的子选项似乎对倒回作业书签很有用,但我找不到如何实现它们(我正在使用 Glue 控制台。)
您需要在“作业参数”部分传递以下参数。作业书签已暂停。
job-bookmark-from <from-value>
是 运行 ID,它表示在最后一次成功 运行 之前处理的所有输入,包括指定的 运行 ID。
job-bookmark-to <to-value>
是 运行 ID,它表示在指定的 运行 ID 之前并包括在最后一次成功 运行 之前处理的所有输入。相应的输入(不包括由 标识的输入)由作业处理。