AWS Glue ImportError: cannot import name explode_outer
AWS Glue ImportError: cannot import name explode_outer
当我尝试 运行 AWS Glue 中的 Spark 作业时，出现以下错误。
ImportError: cannot import name explode_outer
如果我 运行 在本地 spark 设置中使用相同的代码，一切正常。
这就是我在代码中导入 explode_outer 的方式。
from pyspark.sql.functions import explode_outer
AWS Glue 中有包限制吗？
AWS Glue 目前支持 Apache Spark 2.2.1。提到的功能从 2.3 版本开始提供。
最好在本地设置中使用 Apache Spark 2.2.1。您可以编写自己版本的 explode_outer() 方法
当我尝试 运行 AWS Glue 中的 Spark 作业时，出现以下错误。
ImportError: cannot import name explode_outer
如果我 运行 在本地 spark 设置中使用相同的代码，一切正常。
这就是我在代码中导入 explode_outer 的方式。
from pyspark.sql.functions import explode_outer
AWS Glue 中有包限制吗？
AWS Glue 目前支持 Apache Spark 2.2.1。提到的功能从 2.3 版本开始提供。
最好在本地设置中使用 Apache Spark 2.2.1。您可以编写自己版本的 explode_outer() 方法