通过 Dataframe 读取 XML 个文件

Question

我有 XML 个格式如下的文件。

<nt:vars>
<nt:var id="1.3.0" type="TimeStamp"> 89:19:00.01</nt:var>
<nt:var id="1.3.1" type="OBJECT ">1.9.5.67.2</nt:var>
<nt:var id="1.3.9" type="STRING">AB-CD-EF</nt:var>
</nt:vars>

我使用以下代码在其上构建了一个数据框。虽然代码显示 3 行并检索 id 和类型字段，但它不显示实际值 89:19:00.01, 1.9.5.67.2, AB-CD-EF

spark.read.format("xml").option("rootTag","nt:vars").option("rowTag","nt:var").load("/FileStore/tables/POC_DB.xml").show()

如果我必须在上面的行中添加任何其他选项来带来这些值，你能帮我吗？

Answer 1

您可以将 rowTag 指定为 nt:vars:

df = spark.read.format("xml").option("rowTag","nt:vars").load("file.xml")

df.printSchema()
root
 |-- nt:var: array (nullable = true)
 |    |-- element: struct (containsNull = true)
 |    |    |-- _VALUE: string (nullable = true)
 |    |    |-- _id: string (nullable = true)
 |    |    |-- _type: string (nullable = true)

df.show(truncate=False)
+-------------------------------------------------------------------------------------------+
|nt:var                                                                                     |
+-------------------------------------------------------------------------------------------+
|[[ 89:19:00.01, 1.3.0, TimeStamp], [1.9.5.67.2, 1.3.1, OBJECT ], [AB-CD-EF, 1.3.9, STRING]]|
+-------------------------------------------------------------------------------------------+

要将值作为单独的行获取，您可以展开结构数组：

df.select(F.explode('nt:var')).show(truncate=False)
+--------------------------------+
|col                             |
+--------------------------------+
|[ 89:19:00.01, 1.3.0, TimeStamp]|
|[1.9.5.67.2, 1.3.1, OBJECT ]    |
|[AB-CD-EF, 1.3.9, STRING]       |
+--------------------------------+

或者如果您只想要值：

df.select(F.explode('nt:var._VALUE')).show()
+------------+
|         col|
+------------+
| 89:19:00.01|
|  1.9.5.67.2|
|    AB-CD-EF|
+------------+

通过 Dataframe 读取 XML 个文件

Reading XML File Through Dataframe

apache-spark

apache-spark-sql

pyspark

apache-spark-xml