通过 Glue 脚本将数据保存到 AWS Glue

Question

我正在尝试从我的粘合脚本写入粘合目录。但是，我想覆盖数据而不是追加。我有这首颂歌

def data_export(df, target_db, target_table):
additional_options = {
    "enableUpdateCatalog": True,
    "updateBehavior": "UPDATE_IN_DATABASE"
}
try:
    dynamic_frame_out = DynamicFrame.fromDF(df, glue_context, "mydb")
    glue_context.write_dynamic_frame.from_catalog(
        frame=dynamic_frame_out,
        database=target_db,
        table_name=target_table,
        additional_options=additional_options
    )
except Exception:
    raise ("Error")

我无法弄清楚哪些附加选项可以让我每次 运行 我的脚本时覆盖数据。

Answer 1

不幸的是，动态框架不支持覆盖模式。所以你正在尝试的是不可能的，你需要切换到原生 Spark。