如何在 Java 中将 DataFrame 转换为 Apache Spark 中的数据集?
How to convert DataFrame to Dataset in Apache Spark in Java?
我可以很容易地将 DataFrame 转换为 Scala 中的 Dataset:
case class Person(name:String, age:Long)
val df = ctx.read.json("/tmp/persons.json")
val ds = df.as[Person]
ds.printSchema
但在 Java 版本中我不知道如何将 Dataframe 转换为 Dataset?有什么想法吗?
我的努力是:
DataFrame df = ctx.read().json(logFile);
Encoder<Person> encoder = new Encoder<>();
Dataset<Person> ds = new Dataset<Person>(ctx,df.logicalPlan(),encoder);
ds.printSchema();
但是编译器说:
Error:(23, 27) java: org.apache.spark.sql.Encoder is abstract; cannot be instantiated
已编辑(解决方案):
基于@Leet-Falcon 回答的解决方案:
DataFrame df = ctx.read().json(logFile);
Encoder<Person> encoder = Encoders.bean(Person.class);
Dataset<Person> ds = new Dataset<Person>(ctx, df.logicalPlan(), encoder);
官方 Spark 文档在 Dataset API 中建议如下:
Java Encoders are specified by calling static methods on Encoders.
List<String> data = Arrays.asList("abc", "abc", "xyz");
Dataset<String> ds = context.createDataset(data, Encoders.STRING());
编码器可以组成元组:
Encoder<Tuple2<Integer, String>> encoder2 = Encoders.tuple(Encoders.INT(), Encoders.STRING());
List<Tuple2<Integer, String>> data2 = Arrays.asList(new scala.Tuple2(1, "a");
Dataset<Tuple2<Integer, String>> ds2 = context.createDataset(data2, encoder2);
或由 Java 个 Beans 由 Encoders#bean:
构建
Encoders.bean(MyClass.class);
如果您想将通用 DF 转换为 Java 中的数据集,您可以使用如下所示的 RowEncoder class
DataFrame df = sql.read().json(sc.parallelize(ImmutableList.of(
"{\"id\": 0, \"phoneNumber\": 109, \"zip\": \"94102\"}"
)));
Dataset<Row> dataset = df.as(RowEncoder$.MODULE$.apply(df.schema()));
我可以很容易地将 DataFrame 转换为 Scala 中的 Dataset:
case class Person(name:String, age:Long)
val df = ctx.read.json("/tmp/persons.json")
val ds = df.as[Person]
ds.printSchema
但在 Java 版本中我不知道如何将 Dataframe 转换为 Dataset?有什么想法吗?
我的努力是:
DataFrame df = ctx.read().json(logFile);
Encoder<Person> encoder = new Encoder<>();
Dataset<Person> ds = new Dataset<Person>(ctx,df.logicalPlan(),encoder);
ds.printSchema();
但是编译器说:
Error:(23, 27) java: org.apache.spark.sql.Encoder is abstract; cannot be instantiated
已编辑(解决方案):
基于@Leet-Falcon 回答的解决方案:
DataFrame df = ctx.read().json(logFile);
Encoder<Person> encoder = Encoders.bean(Person.class);
Dataset<Person> ds = new Dataset<Person>(ctx, df.logicalPlan(), encoder);
官方 Spark 文档在 Dataset API 中建议如下:
Java Encoders are specified by calling static methods on Encoders.
List<String> data = Arrays.asList("abc", "abc", "xyz");
Dataset<String> ds = context.createDataset(data, Encoders.STRING());
编码器可以组成元组:
Encoder<Tuple2<Integer, String>> encoder2 = Encoders.tuple(Encoders.INT(), Encoders.STRING());
List<Tuple2<Integer, String>> data2 = Arrays.asList(new scala.Tuple2(1, "a");
Dataset<Tuple2<Integer, String>> ds2 = context.createDataset(data2, encoder2);
或由 Java 个 Beans 由 Encoders#bean:
构建Encoders.bean(MyClass.class);
如果您想将通用 DF 转换为 Java 中的数据集,您可以使用如下所示的 RowEncoder class
DataFrame df = sql.read().json(sc.parallelize(ImmutableList.of(
"{\"id\": 0, \"phoneNumber\": 109, \"zip\": \"94102\"}"
)));
Dataset<Row> dataset = df.as(RowEncoder$.MODULE$.apply(df.schema()));