将字符串列转换为向量列 Spark DataFrames

Question

我有一个如下所示的 Spark 数据框：

+-----------+-------------------+
|     ID    |     features      |
+-----------+-------------------+
|   18156431|(5,[0,1,4],[1,1,1])|
|   20260831|(5,[0,4,5],[2,1,1])|   
|   91859831|(5,[0,1],[1,3])    |
|  206186631|(5,[3,4,5],[1,5])  |
|  223134831|(5,[2,3,5],[1,1,1])|
+-----------+-------------------+

在此数据框中，特征列是一个稀疏向量。在我的脚本中，我必须将此 DF 保存为磁盘上的文件。执行此操作时，功能列将另存为文本列：示例 "(5,[0,1,4],[1,1,1])"。当在 Spark 中再次导入时，该列保持字符串状态，如您所料。如何将列转换回（稀疏）矢量格式？

Answer 1

由于 UDF 开销，效率不是特别高（最好使用保留类型的格式），但您可以这样做：

from pyspark.mllib.linalg import Vectors, VectorUDT
from pyspark.sql.functions import udf

df = sc.parallelize([
    (18156431, "(5,[0,1,4],[1,1,1])") 
]).toDF(["id", "features"])

parse = udf(lambda s: Vectors.parse(s), VectorUDT())
df.select(parse("features"))

请注意，这不会直接移植到 2.0.0+ 和 ML Vector。由于 ML 向量不提供 parse 方法，您必须解析为 MLLib 并使用 asML:

parse = udf(lambda s: Vectors.parse(s).asML(), VectorUDT())

将字符串列转换为向量列 Spark DataFrames

Transform string column to vector column Spark DataFrames

python

pyspark

apache-spark-sql

apache-spark-mllib

apache-spark-ml