将数据帧转换为 libsvm 格式

Question

我有一个来自 sql 查询的数据框

df1 = sqlContext.sql("select * from table_test")

我需要将此数据帧转换为 libsvm 格式，以便它可以作为

的输入提供

pyspark.ml.classification.LogisticRegression

我尝试执行以下操作。但是，这导致了以下错误，因为我使用的是 spark 1.5.2

df1.write.format("libsvm").save("data/foo")
Failed to load class for data source: libsvm

我想改用 MLUtils.loadLibSVMFile。我在防火墙后面，无法直接 pip 安装它。所以我下载了文件，对其进行了 scp 编辑，然后手动安装了它。一切似乎都很好，但我仍然收到以下错误

import org.apache.spark.mllib.util.MLUtils
No module named org.apache.spark.mllib.util.MLUtils

问题1：我上面的方法是否正确地将数据帧转换为libsvm格式。问题 2：如果 "yes" 到问题 1，如何让 MLUtils 工作。如果 "no"，将数据帧转换为 libsvm 格式的最佳方法是什么

Answer 1

我会那样做（这只是一个任意数据框的例子，我不知道你的 df1 是怎么做的，重点是数据转换）：

这是我将数据帧转换为 libsvm 格式的方法：

# ... your previous imports

from pyspark.mllib.util import MLUtils
from pyspark.mllib.regression import LabeledPoint

# A DATAFRAME
>>> df.show()
+---+---+---+
| _1| _2| _3|
+---+---+---+
|  1|  3|  6|  
|  4|  5| 20|
|  7|  8|  8|
+---+---+---+

# FROM DATAFRAME TO RDD
>>> c = df.rdd # this command will convert your dataframe in a RDD
>>> print (c.take(3))
[Row(_1=1, _2=3, _3=6), Row(_1=4, _2=5, _3=20), Row(_1=7, _2=8, _3=8)]

# FROM RDD OF TUPLE TO A RDD OF LABELEDPOINT
>>> d = c.map(lambda line: LabeledPoint(line[0],[line[1:]])) # arbitrary mapping, it's just an example
>>> print (d.take(3))
[LabeledPoint(1.0, [3.0,6.0]), LabeledPoint(4.0, [5.0,20.0]), LabeledPoint(7.0, [8.0,8.0])]

# SAVE AS LIBSVM
>>> MLUtils.saveAsLibSVMFile(d, "/your/Path/nameFolder/")

您将在“/your/Path/nameFolder/part-0000*”文件中看到的是：

1.0 1:3.0 2:6.0

4.0 1:5.0 2:20.0

7.0 1:8.0 2:8.0

请参阅 here 了解 LabeledPoint 文档

Answer 2

我必须这样做才能正常工作

D.map(lambda line: LabeledPoint(line[0],[line[1],line[2]]))

Answer 3

如果你想将稀疏向量转换为更高效的 'sparse' libsvm，试试这个：

from pyspark.ml.linalg import Vectors
from pyspark.mllib.linalg import Vectors as MLLibVectors
from pyspark.mllib.regression import LabeledPoint
from pyspark.mllib.util import MLUtils

df = spark.createDataFrame([
    (0, Vectors.sparse(5, [(1, 1.0), (3, 7.0)])),
    (1, Vectors.sparse(5, [(1, 1.0), (3, 7.0)])),
    (1, Vectors.sparse(5, [(1, 1.0), (3, 7.0)]))
], ["label", "features"])
df.show()

# +-----+-------------------+
# |label|           features|
# +-----+-------------------+
# |    0|(5,[1,3],[1.0,7.0])|
# |    1|(5,[1,3],[1.0,7.0])|
# |    1|(5,[1,3],[1.0,7.0])|
# +-----+-------------------+

MLUtils.saveAsLibSVMFile(df.rdd.map(lambda x: LabeledPoint(x.label, MLLibVectors.fromML(x.features))), './libsvm')

将数据帧转换为 libsvm 格式

convert dataframe to libsvm format

apache-spark

apache-spark-sql

pyspark

spark-dataframe

apache-spark-mllib