pyspark-如何将列添加到列表中的 spark 数据框
pyspark- how to add a column to spark dataframe from a list
我正在寻找一种从列表中向 Spark DF 添加新列的方法。在 pandas 方法中很容易处理它，但在 spark 中似乎相对困难。请找一个例子
#pandas approach
list_example = [1,3,5,7,8]
df.new_column = list_example
#spark ?
你能帮忙解决这个问题吗（最简单的解决方案）？
您可以尝试类似的方法：
import pyspark.sql.functions as F
list_example = [1,3,5,7,8]
new_df = df.withColumn("new_column", F.array( [F.lit(x) for x in list_example] ))
new_df.show()
我正在寻找一种从列表中向 Spark DF 添加新列的方法。在 pandas 方法中很容易处理它，但在 spark 中似乎相对困难。请找一个例子
#pandas approach
list_example = [1,3,5,7,8]
df.new_column = list_example
#spark ?
你能帮忙解决这个问题吗（最简单的解决方案）？
您可以尝试类似的方法：
import pyspark.sql.functions as F
list_example = [1,3,5,7,8]
new_df = df.withColumn("new_column", F.array( [F.lit(x) for x in list_example] ))
new_df.show()