无法 select 来自 Pyspark DataFrame 的超过 255 列

Question

我正在尝试 select 来自 Pyspark DatFrame 的 500 列。获取错误 "SyntaxError: more than 255 arguments"

Df2 = Df\
  .select("col1","col2","col3",...............,"col500")

也试过下面的方法，有点不行。

cols = ["col1","col2","col3",...............,"col500"]
Df2 = Df\
     .select(cols)

这两种方法都适用于少于 255 列。

注意 : 我的Python版本是3.6

请多多指教。谢谢

Answer 1

在与@pissall 交谈后，下面是 select 超过 255 列的两个可行解决方案：

案例一：

cols = ["col1","col2","col3",...............,"col500"]
df2 = df.select(cols)

案例二：

df.createOrReplaceTempView("df"); 
spark.sql("SELECT col1, col2, ..., col500 FROM df")

Not able to select more than 255 columns from Pyspark DataFrame