PySpark - 从字符串生成 StructType
PySpark - Generate StructType from string
有没有一种简单的方法可以根据字符串的结构类型定义生成架构?
例如我实际上是这样做的:
from pyspark.sql.types import *
customSchema = StructType([StructField("Date",StringType(),True)])
我希望将架构定义存储在 table 中并像这样动态加载它:
from pyspark.sql.types import *
stringShema = 'StructType([StructField("Date",StringType(),True)])'
customSchema = SomeFunctionToConvertTextToStruct(stringShema)
有什么提示吗?
此致,
使用评估?
from pyspark.sql.types import *
stringSchema = 'StructType([StructField("Date",StringType(),True)])'
customSchema = eval(stringSchema)
奥利维尔
有没有一种简单的方法可以根据字符串的结构类型定义生成架构?
例如我实际上是这样做的:
from pyspark.sql.types import *
customSchema = StructType([StructField("Date",StringType(),True)])
我希望将架构定义存储在 table 中并像这样动态加载它:
from pyspark.sql.types import *
stringShema = 'StructType([StructField("Date",StringType(),True)])'
customSchema = SomeFunctionToConvertTextToStruct(stringShema)
有什么提示吗? 此致,
使用评估?
from pyspark.sql.types import *
stringSchema = 'StructType([StructField("Date",StringType(),True)])'
customSchema = eval(stringSchema)
奥利维尔