手动设置 AWS Glue ETL 书签
Manually setting AWS Glue ETL Bookmark
我的项目正在过渡到新的 AWS 账户，我们正试图找到一种方法来保留我们的 AWS Glue ETL 书签。我们有大量已处理的数据正在复制到新帐户，并希望避免重新处理。
据我了解，Glue 书签只是后端的时间戳，理想情况下我们能够获取旧书签，然后在新 AWS 账户中为匹配的作业手动设置书签.
看来我可以使用以下方法通过 AWS CLI 获取我现有的书签：
get-job-bookmark --job-name <value>
(Source)
但是，我一直找不到任何可能在新帐户中设置书签的方法。
就解决方法而言，我最好的选择似乎是：
- 为我们的 Glue 爬虫上的所有 S3 数据源添加排除模式，尽管这将不再允许我们通过 Glue 目录（我们目前用于跟踪记录）跟踪任何现有的未处理数据和文件数）。这看起来是迄今为止最好的选择...
- 尝试 运行 Glue ETL 作业，然后在新帐户中抓取我们的旧（复制）数据，将书签设置为超过我们复制的 S3 对象的创建时间。然后，一旦我们抓取复制的数据，ETL 作业将认为它们比当前书签时间更早，并且不会在下一个 运行 处理它们。但是，这个 hack 似乎不起作用，因为我在测试时最终处理了所有数据。
在这里真的很茫然，AWS Glue 论坛是个鬼城，过去没有帮助。
我无法使用上述问题中的方法手动设置书签或获取书签以手动前进和跳过数据。
但是，我能够使用以下步骤让 Glue ETL 作业跳过数据并推进其书签：
确保禁用任何 Glue ETL 计划
将要跳转的文件添加到 S3
抓取 S3 数据
注释掉 Glue ETL 作业的 Spark 代码的处理步骤。我刚刚在初始动态框架创建之后注释掉了所有 dynamic_frame 步骤，直到 job.commit().
sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)
# Create dynamic frame from raw glue table
datasource0 =
glueContext.create_dynamic_frame.from_catalog(database=GLUE_DATABASE_NAME,
table_name=JOB_TABLE, transformation_ctx="datasource0")
# ~~ COMMENT OUT ADDITIONAL STEPS ~~ #
job.commit()
运行 像往常一样启用书签的 glue etl 作业
将 Glue ETL Spark 代码恢复正常
现在，Glue ETL 作业的书签已经处理，并且将跳过第 5 步中该作业 运行 处理的任何数据。下次将文件添加到 S3 并进行爬取时，它将由 Glue ETL 作业正常处理。
如果您知道您将获得一些您不想处理的数据，或者如果您正在转换到一个新的 AWS 账户并像我一样复制所有旧数据，这将很有用。如果有一种方法可以在 Glue 中手动设置书签时间就好了，所以这不是必需的。
我的项目正在过渡到新的 AWS 账户，我们正试图找到一种方法来保留我们的 AWS Glue ETL 书签。我们有大量已处理的数据正在复制到新帐户，并希望避免重新处理。
据我了解，Glue 书签只是后端的时间戳，理想情况下我们能够获取旧书签，然后在新 AWS 账户中为匹配的作业手动设置书签.
看来我可以使用以下方法通过 AWS CLI 获取我现有的书签：
get-job-bookmark --job-name <value>
(Source)
但是，我一直找不到任何可能在新帐户中设置书签的方法。
就解决方法而言，我最好的选择似乎是：
- 为我们的 Glue 爬虫上的所有 S3 数据源添加排除模式，尽管这将不再允许我们通过 Glue 目录（我们目前用于跟踪记录）跟踪任何现有的未处理数据和文件数）。这看起来是迄今为止最好的选择...
- 尝试 运行 Glue ETL 作业，然后在新帐户中抓取我们的旧（复制）数据，将书签设置为超过我们复制的 S3 对象的创建时间。然后，一旦我们抓取复制的数据，ETL 作业将认为它们比当前书签时间更早，并且不会在下一个 运行 处理它们。但是，这个 hack 似乎不起作用，因为我在测试时最终处理了所有数据。
在这里真的很茫然，AWS Glue 论坛是个鬼城，过去没有帮助。
我无法使用上述问题中的方法手动设置书签或获取书签以手动前进和跳过数据。
但是，我能够使用以下步骤让 Glue ETL 作业跳过数据并推进其书签：
确保禁用任何 Glue ETL 计划
将要跳转的文件添加到 S3
抓取 S3 数据
注释掉 Glue ETL 作业的 Spark 代码的处理步骤。我刚刚在初始动态框架创建之后注释掉了所有 dynamic_frame 步骤，直到
job.commit().sc = SparkContext() glueContext = GlueContext(sc) spark = glueContext.spark_session job = Job(glueContext) job.init(args['JOB_NAME'], args) # Create dynamic frame from raw glue table datasource0 = glueContext.create_dynamic_frame.from_catalog(database=GLUE_DATABASE_NAME, table_name=JOB_TABLE, transformation_ctx="datasource0") # ~~ COMMENT OUT ADDITIONAL STEPS ~~ # job.commit()运行 像往常一样启用书签的 glue etl 作业
将 Glue ETL Spark 代码恢复正常
现在，Glue ETL 作业的书签已经处理，并且将跳过第 5 步中该作业 运行 处理的任何数据。下次将文件添加到 S3 并进行爬取时，它将由 Glue ETL 作业正常处理。
如果您知道您将获得一些您不想处理的数据，或者如果您正在转换到一个新的 AWS 账户并像我一样复制所有旧数据，这将很有用。如果有一种方法可以在 Glue 中手动设置书签时间就好了，所以这不是必需的。