使用 python 从 mongodb 创建标记点

Question

我想使用 python、

从 mongodb 创建标记点

我已经尝试使用 csv 文件而不是 mongodb 这是 return 标记点

的函数代码

def createLabeledPoints(fields):
  q1 = int(fields[0])
  q2 = int(fields[1])
  result = int(fields[38])
  return LabeledPoint(result, array([q1, q2, q3))

此代码适用于我的 csv 文件

并且我使用下面的代码 mongodb 作为 pandas 数据框获取我的集合

from pymongo import MongoClient
client = MongoClient('localhost', 27017)
db1 = client.newumc
collection1 = db.data_classification
rawData1 = DataFrame(list(collection.find({})))

我使用下面的代码获取每个字段

field_for_test = collection.find({}, {'field_from_mongodb':1,'_id':0})

Answer 1

我使用

解决了这个问题

spark = SparkSession \
.builder \
.appName("myApp") \
.config("spark.mongodb.input.uri", "mongodb://127.0.0.1/newumc.classification_data") \
.config("spark.mongodb.output.uri", "mongodb://127.0.0.1/newumc.classification_data") \
.getOrCreate()
df = spark.read.format("com.mongodb.spark.sql.DefaultSource").load()
field1 = df[1]
field2 = df[2]

使用 python 从 mongodb 创建标记点

create labeledpoint from mongodb using python

python

machine-learning

pyspark

spark-dataframe