spark-xml 中具有嵌套父节点的自定义模式
Custom schema with nested parent node in spark-xml
我是 spark-xml 的新手,我发现很难为我的对象准备自定义模式。请求大家帮助我。以下是我尝试过的。
我正在使用 Spark 1.4.7 和 spark-xml 版本 0.3.5
Test.Java
StructType customSchema = new StructType(new StructField[]{
new StructField("id", DataTypes.StringType, true, Metadata.empty()),
new StructField("name", DataTypes.StringType, true, Metadata.empty()),
DataTypes.createStructField("names", DataTypes.createStructType(new StructField[]{
DataTypes.createStructField("test", DataTypes.createArrayType(DataTypes.StringType),
true)}), true)
});
final JavaRDD<Row> map = spoofRDD()
.map(book -> RowFactory.create(
book.getId(),
book.getName(),
book.getNames()));
final DataFrame df = sqlContext.createDataFrame(map, customSchema);
df.show();
df.printSchema();
private JavaRDD<Book> spoofRDD() {
Book book1 = Book.builder().id("1").name("Name1")
.names(new String[]{"1", "2"}).build();
List<Book> books = new ArrayList<>();
books.add(book1);
return javaSparkContext.parallelize(books);
}
我的POJOclassBook.Java
private final String id;
private final String name;
private final String[] names;
我的预期XML
<books>
<book>
<id>1</id>
<name>Name1</name>
**<parent>**
<names>1</names>
<names>2</names>
**</parent>**
</book>
<book>
<id>2</id>
<name>Name2</name>
**<parent>**
<names>1</names>
<names>2</names>
**</parent>**
</book>
因此,如您所见,我希望在父标签中有一个嵌套标签。我怎样才能修改我的 customSchema 以实现相同的目的。
所需 XML 输出的正确模式是:
root
|-- id: long (nullable = true)
|-- name: string (nullable = true)
|-- parent: struct (nullable = true)
| |-- names: array (nullable = true)
| | |-- element: long (containsNull = true)]
而您当前的架构是:
root
|-- id: string (nullable = true)
|-- name: string (nullable = true)
|-- names: struct (nullable = true)
| |-- test: array (nullable = true)
| | |-- element: string (containsNull = true)
所以你在这里唯一需要改变的是标签的名称从 test
到 name
和 names
到 parent
和数组的值类型内容。
new StructType(new StructField[]{
new StructField("id", DataTypes.StringType, true, Metadata.empty()),
new StructField("name", DataTypes.StringType, true, Metadata.empty()),
DataTypes.createStructField("names", DataTypes.createStructType(new StructField[]{
DataTypes.createStructField("test", DataTypes.createArrayType(DataTypes.StringType),
true)}), true)
})
真正的问题是数据。因为 parent
必须是 struct
,所以 getNames
输出应该用 Row
:
包装
.map(book -> RowFactory.create(
book.getId(),
book.getName(),
RowFactory.create(book.getNames())));
我是 spark-xml 的新手,我发现很难为我的对象准备自定义模式。请求大家帮助我。以下是我尝试过的。
我正在使用 Spark 1.4.7 和 spark-xml 版本 0.3.5
Test.Java
StructType customSchema = new StructType(new StructField[]{
new StructField("id", DataTypes.StringType, true, Metadata.empty()),
new StructField("name", DataTypes.StringType, true, Metadata.empty()),
DataTypes.createStructField("names", DataTypes.createStructType(new StructField[]{
DataTypes.createStructField("test", DataTypes.createArrayType(DataTypes.StringType),
true)}), true)
});
final JavaRDD<Row> map = spoofRDD()
.map(book -> RowFactory.create(
book.getId(),
book.getName(),
book.getNames()));
final DataFrame df = sqlContext.createDataFrame(map, customSchema);
df.show();
df.printSchema();
private JavaRDD<Book> spoofRDD() {
Book book1 = Book.builder().id("1").name("Name1")
.names(new String[]{"1", "2"}).build();
List<Book> books = new ArrayList<>();
books.add(book1);
return javaSparkContext.parallelize(books);
}
我的POJOclassBook.Java
private final String id;
private final String name;
private final String[] names;
我的预期XML
<books>
<book>
<id>1</id>
<name>Name1</name>
**<parent>**
<names>1</names>
<names>2</names>
**</parent>**
</book>
<book>
<id>2</id>
<name>Name2</name>
**<parent>**
<names>1</names>
<names>2</names>
**</parent>**
</book>
因此,如您所见,我希望在父标签中有一个嵌套标签。我怎样才能修改我的 customSchema 以实现相同的目的。
所需 XML 输出的正确模式是:
root
|-- id: long (nullable = true)
|-- name: string (nullable = true)
|-- parent: struct (nullable = true)
| |-- names: array (nullable = true)
| | |-- element: long (containsNull = true)]
而您当前的架构是:
root
|-- id: string (nullable = true)
|-- name: string (nullable = true)
|-- names: struct (nullable = true)
| |-- test: array (nullable = true)
| | |-- element: string (containsNull = true)
所以你在这里唯一需要改变的是标签的名称从 test
到 name
和 names
到 parent
和数组的值类型内容。
new StructType(new StructField[]{
new StructField("id", DataTypes.StringType, true, Metadata.empty()),
new StructField("name", DataTypes.StringType, true, Metadata.empty()),
DataTypes.createStructField("names", DataTypes.createStructType(new StructField[]{
DataTypes.createStructField("test", DataTypes.createArrayType(DataTypes.StringType),
true)}), true)
})
真正的问题是数据。因为 parent
必须是 struct
,所以 getNames
输出应该用 Row
:
.map(book -> RowFactory.create(
book.getId(),
book.getName(),
RowFactory.create(book.getNames())));