将实体列表 class 对象转换为 JavaPairRDD

Question

我有一个 Person class 的对象列表。我想把它转换成JavaPairRDD。

---

我想创建成对的 Object,BSONObject 类型，以便将它们存储在 MongoDB。

Answer 1

我不确定您想从单个 Person 对象中获得什么对，但这段代码应该是一个好的开始。无论如何，我建议您阅读一些示例： https://github.com/apache/spark/tree/master/examples/src/main/java/org/apache/spark/examples

List<Person> list = new ArrayList<Person>();
JavaSparkContext ctx = new JavaSparkContext(new SparkConf());
JavaPairRdd<Object, BSONObject> rdd = ctx
  .parallelize(list)
  .mapToPair(person -> new Tuple2<Object, BSONObject>(person, convertToBson(person));

public BSONObject convertToBson(final Person person) {
  ...
}