朴素贝叶斯 pyspark 1.3 无响应
naive bayes pyspark 1.3 no response
我正在尝试 运行 PySpark 1.3 中我的数据的朴素贝叶斯分类器
这是我的数据样本:
使用文本文件,我将其转换为 LabeledPoint 对象
67,[0,1,2,3,4,5,6,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,3.....60,66],[0.45,0.441666666667,0.475,0.0,0.717763157895,0.0,0.497300944669,0.476608187135,0.0,0.0,0.45183714002,0.616666666667,0.966666666667,0.0790064102564,-0.364093614847,0.0679487179487,0.256043956044,0.7,0.449583333333,0.231904697754,0.341666666667,0.06....,0.0]
data = MLUtils.loadLibSVMFile(sc, 'path to file')
training, test = data.randomSplit([0.7, 0.3], seed=0)
model = NaiveBayes.train(training, 1.0)
predictionAndLabel = test.map(lambda p: (model.predict(p.features), p.label))
accuracy = (
1.0 * predictionAndLabel.filter(lambda (x, v): x == v).count() / test.count()
)
PySpark 似乎永远挂在计算变量模型上。有没有其他人以前遇到过这个问题?谢谢
Spark 中的朴素贝叶斯算法要求没有特征(例如 x 值)是负数。您可以在 LabeledPoints 中看到 -0.364093614847 为负数。这应该会引发错误。因此,请尝试回顾您的原始数据并找到一种方法将任何负值转换为正值。在下面的示例中,我的数据都在 -1.0 和 1.0 之间。我只是将 1.0 添加到所有值,以便分布/均值/标准偏差都保持不变。
您的 data
看起来像这样:
[LabeledPoint(1.0,(1,[0,1,2,3],[-0.5,0.5,0.0,0.8]))],
[LabeledPoint(0.0,(1,[0,1,2,3],[0.1,0.5,0.5,-0.6]))],
[LabeledPoint(1.0,(1,[0,1,2,3],[0.9,0.1,-0.2,0.7]))]
问题是Spark中的数据结构基本上是不可变的。因此,您需要回到数据尚未转换为 LabeledPoint 对象的时间(例如,当它仍然是文本时)。下面是一些示例代码,介绍如何读取文本文件(包含一些缺失值)、为每个特征添加一个,然后转换为 LabeledPoint。请注意,这是针对 csv 的,但是如果您更改 split
中的内容,您可以将其更改为 tsv 或其他分隔符。
sc.textFile("/your/directory/your-file/*") \
.map(lambda x: [unicode("") if x1=="nan" else x1 for x1 in x.split(',')[1:]])\
.map(lambda x: x[0] + " " + " ".join([str(i+1)+":"+str(float(x1)+1) for i,x1 in enumerate(x[1:4]) if x1 != ''])) \
.saveAsTextFile("/your/directory/new-directory/no-neg")
这假定您拥有的原始文件采用以下形式:
Label, X1, X2, X3, X4
我正在尝试 运行 PySpark 1.3 中我的数据的朴素贝叶斯分类器
这是我的数据样本:
使用文本文件,我将其转换为 LabeledPoint 对象
67,[0,1,2,3,4,5,6,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,3.....60,66],[0.45,0.441666666667,0.475,0.0,0.717763157895,0.0,0.497300944669,0.476608187135,0.0,0.0,0.45183714002,0.616666666667,0.966666666667,0.0790064102564,-0.364093614847,0.0679487179487,0.256043956044,0.7,0.449583333333,0.231904697754,0.341666666667,0.06....,0.0]
data = MLUtils.loadLibSVMFile(sc, 'path to file')
training, test = data.randomSplit([0.7, 0.3], seed=0)
model = NaiveBayes.train(training, 1.0)
predictionAndLabel = test.map(lambda p: (model.predict(p.features), p.label))
accuracy = (
1.0 * predictionAndLabel.filter(lambda (x, v): x == v).count() / test.count()
)
PySpark 似乎永远挂在计算变量模型上。有没有其他人以前遇到过这个问题?谢谢
Spark 中的朴素贝叶斯算法要求没有特征(例如 x 值)是负数。您可以在 LabeledPoints 中看到 -0.364093614847 为负数。这应该会引发错误。因此,请尝试回顾您的原始数据并找到一种方法将任何负值转换为正值。在下面的示例中,我的数据都在 -1.0 和 1.0 之间。我只是将 1.0 添加到所有值,以便分布/均值/标准偏差都保持不变。
您的 data
看起来像这样:
[LabeledPoint(1.0,(1,[0,1,2,3],[-0.5,0.5,0.0,0.8]))],
[LabeledPoint(0.0,(1,[0,1,2,3],[0.1,0.5,0.5,-0.6]))],
[LabeledPoint(1.0,(1,[0,1,2,3],[0.9,0.1,-0.2,0.7]))]
问题是Spark中的数据结构基本上是不可变的。因此,您需要回到数据尚未转换为 LabeledPoint 对象的时间(例如,当它仍然是文本时)。下面是一些示例代码,介绍如何读取文本文件(包含一些缺失值)、为每个特征添加一个,然后转换为 LabeledPoint。请注意,这是针对 csv 的,但是如果您更改 split
中的内容,您可以将其更改为 tsv 或其他分隔符。
sc.textFile("/your/directory/your-file/*") \
.map(lambda x: [unicode("") if x1=="nan" else x1 for x1 in x.split(',')[1:]])\
.map(lambda x: x[0] + " " + " ".join([str(i+1)+":"+str(float(x1)+1) for i,x1 in enumerate(x[1:4]) if x1 != ''])) \
.saveAsTextFile("/your/directory/new-directory/no-neg")
这假定您拥有的原始文件采用以下形式:
Label, X1, X2, X3, X4