如果输入中的列超过 100 列,如何使用 Scala 在 Spark 中创建模式?
How to create schema in Spark with Scala if more than 100 columns in the input?
对于案例 class 我们有一些限制...
使用 StructType 是否可以用于 100 多个列,
有没有其他方法可以为大约 600 多个列创建方案。
val columns = (1 to 600).map(i => s"Column_$i").map(cname => StructField(cname, StringType))
val schemaWithSixHundredsColumns = StructType(columns)
val df = spark.createDataFrame(new java.util.ArrayList[Row](), schemaWithSixHundredsColumns)
对于案例 class 我们有一些限制... 使用 StructType 是否可以用于 100 多个列, 有没有其他方法可以为大约 600 多个列创建方案。
val columns = (1 to 600).map(i => s"Column_$i").map(cname => StructField(cname, StringType))
val schemaWithSixHundredsColumns = StructType(columns)
val df = spark.createDataFrame(new java.util.ArrayList[Row](), schemaWithSixHundredsColumns)