Pyspark StructType 未定义

Pyspark StructType is not defined

我正在尝试构建用于数据库测试的架构,而 StructType 显然由于某种原因无法正常工作。我正在关注 tut,它不会导入任何额外的模块。

<type 'exceptions.NameError'>, NameError("name 'StructType' is not defined",), <traceback object at 0x2b555f0>)

我正在使用 spark 1.4.0,Ubuntu 12 如果这与问题有关。我将如何解决这个问题?提前谢谢你。

您是否导入了 StructType?如果不是

from pyspark.sql.types import StructType

应该可以解决问题。

from pyspark.sql.types import StructType

这会解决问题,但接下来您可能会得到 NameError: name 'IntegerType' is not definedNameError: name 'StringType' is not defined ..

要避免所有这些,只需执行以下操作:

from pyspark.sql.types import *

或者将您需要的所有类型一一导入:

from pyspark.sql.types import StructType, IntegerType, StringType

所有类型:Apache Spark Data Types