将二进制列转换为 xml spark sql

Question

我希望将数据框中的二进制列转换为 xml，我使用

创建了一个临时 table

sourceDf = spark.read.csv(sourceFilePath, sep=',', header=True, inferSchema=True).createOrReplaceTempView("sourceTable")

并且想要运行这个 sql 查询，它在 sql 服务器中完美运行，但在数据块中不完美

%sql
SELECT ID 
  ,ORIGINATOR_ID
  ,INCIDENT_NUMBER 
  ,ATTACHMENT_TYPE
  ,FORM_NAME
  ,FORM_DATA
  ,CAST( CAST( FORM_DATA as XML ).value('.','varbinary(max)') AS nvarchar(max) )
  ,START_DATE
  ,END_DATE
  ,OPERATOR_ID 
  FROM sourceTable

我收到以下错误：

Error in SQL statement: ParseException: 
no viable alternative at input 'CAST( CAST( FORM_DATA as XML ).value('(line 7, pos 39)

有人能帮忙吗？如果我回到源系统，我可以在 SQL 服务器中运行相同的查询并且它工作得很好，但我需要能够在笔记本中转换为 xml 然后允许我来解析 xml.

Answer 1

Apache Spark 中没有单独的 XML 类型 - 您只能转换为 string 类型，并且您可以尝试将其解析为 XML.在你这样做之后，只需使用 from_xml 函数跟随 instructions of the spark-xml library on how to parse XML embedded as a column（我特别不想从文档中复制代码，因为它对于 PySpark 来说太长了。）

将二进制列转换为 xml spark sql

Cast a binary column to xml spark sql

apache-spark

pyspark

apache-spark-sql

databricks