立即投射 Spark 数据框现有模式
Cast Spark dataframe existing schema at once
我有一个数据框,它的所有列都是字符串类型,并且我有一个架构,其中包含每列所需的类型。有什么方法可以将转换插入一个大的 try/catch 子句并立即动态地隐藏整个模式?我见过的唯一解决方案是专门处理每一列并转换其类型。
尝试:
val newDf = sparkSession.createDataFrame(oldDf.rdd, schema)
我有一个数据框,它的所有列都是字符串类型,并且我有一个架构,其中包含每列所需的类型。有什么方法可以将转换插入一个大的 try/catch 子句并立即动态地隐藏整个模式?我见过的唯一解决方案是专门处理每一列并转换其类型。
尝试:
val newDf = sparkSession.createDataFrame(oldDf.rdd, schema)