pyspark 代码因错误而失败调用 z:com.amazonaws.services.glue.DynamicFrame.apply 时发生错误。列表#5451 []

pyspark code failing with error An error occurred while calling z:com.amazonaws.services.glue.DynamicFrame.apply. list#5451 []

我正在使用 SQL 转换编写 aws 胶水作业(pyspark 代码)。我收到 scala.MatchError 错误:list#5252 [] (of class org.apache.spark.sql.catalyst.expressions.ListQuery。当我从查询中排除这个 table 时,有一个 table 像 tbl1它工作正常但是一旦使用上面的 tbl1 就会抛出错误。Source 和 Target 都是 Redshift。

如果有人解释这个错误的含义会有所帮助。

提前致谢。

如果有问题需要任何描述,请告诉我

scala.MatchError: list#5252 [] - 此错误是指连接两个或多个 table 时出现的问题,其中一列无法匹配另一列的 pattern/value table。 要解决此问题,请检查 SQL 查询和更新联接。

在SQL转换中(AWS GLUE) 使用 NOT IN 的查询可以在 AWS Glue 中毫无问题地执行。如果 (NOT IN) 失败,请尝试 运行 分段查询。