Pyspark 错误将 StructType 传递给 Schema
Pyspark error passing StructType to Schema
获取错误:TypeError:'StructType' 对象不可调用,同时将 StructType
传递给模式方法。下面是代码:
final_schema = StructType([StructField("id", StringType(), True)])
dataframe = sc.read.text('/path').schema(final_schema)
数据为字符串类型如下:
id
AO_01
AO_02
AO_03
更改了对 sc.read.schema(final_schema).text('/path')
的调用,因为 text(...)
将 return 数据框实例并且需要在此之前设置架构。
获取错误:TypeError:'StructType' 对象不可调用,同时将 StructType
传递给模式方法。下面是代码:
final_schema = StructType([StructField("id", StringType(), True)])
dataframe = sc.read.text('/path').schema(final_schema)
数据为字符串类型如下:
id
AO_01
AO_02
AO_03
更改了对 sc.read.schema(final_schema).text('/path')
的调用,因为 text(...)
将 return 数据框实例并且需要在此之前设置架构。