如何使文本到 XML 的转换更快?

How to make text to XML transformation faster?

我有一个关于如何使 XSLT 脚本更快的问题。输入是一个带有时间测量值的文本文件,如下所示:

67235 | 8 | ecus | Started | ecus
67306 | 2 | step1 | Started | ecus/step1
67384 | 2 | step7 | Started | ecus/step1/step7
67387 | 2 | step28 | Started | ecus/step1/step2/step28
67413 | 28 | step28 | Stopped | ecus/step1/step2/step28
67416 | 3 | step14 | Started | ecus/step1/step2/step14
67431 | 2 | step19 | Started | ecus/step1/step2/step14/step19
67786 | 357 | step19 | Stopped | ecus/step1/step2/step14/step19
67789 | 3 | step57 | Started | ecus/step1/step2/step14/step57
67801 | 15 | step57 | Stopped | ecus/step1/step2/step14/step57
67804 | 2 | step8 | Started | ecus/step1/step2/step14/step8
67805 | 3 | step8 | Stopped | ecus/step1/step2/step14/step8
67807 | 2 | step9 | Started | ecus/step1/step2/step14/step9
67808 | 3 | step9 | Stopped | ecus/step1/step2/step14/step9
67811 | 3 | step12 | Started | ecus/step1/step2/step14/step12
67820 | 12 | step12 | Stopped | ecus/step1/step2/step14/step12
67823 | 2 | step13 | Started | ecus/step1/step2/step14/step13
67824 | 3 | step13 | Stopped | ecus/step1/step2/step14/step13
67827 | 3 | step15 | Started | ecus/step1/step2/step14/step15
69235 | 1411 | step15 | Stopped | ecus/step1/step2/step14/step15
69238 | 3 | step16 | Started | ecus/step1/step2/step14/step16
69238 | 3 | step16 | Stopped | ecus/step1/step2/step14/step16
69241 | 2 | step18 | Started | ecus/step1/step2/step14/step18
69373 | 134 | step18 | Stopped | ecus/step1/step2/step14/step18
69404 | 2 | step30 | Started | ecus/step1/step2/step14/step30
69722 | 320 | step30 | Stopped | ecus/step1/step2/step14/step30
69736 | 3 | step31 | Started | ecus/step1/step2/step14/step31

[...]

我有一个 XSLT 模板,可以分两步转换此数据。第一步是从文本中创建一个“平面”XML 结构;输出如下所示:

<profile>
  <step ord="1" ts="67235" time="8" info="Started" path="ecus" root="ecus" level="0"/>
  <step ord="2" ts="67306" time="2" info="Started" path="ecus/step1" root="step1" level="1"/>
  <step ord="3" ts="67384" time="2" info="Started" path="ecus/step1/step7" root="step7" level="2"/>
  <step ord="4" ts="67387" time="2" info="Started" path="ecus/step1/step2/step28" root="step28" level="3"/>
  <step ord="5" ts="67413" time="28" info="Stopped" path="ecus/step1/step2/step28" root="step28" level="3"/>
  <step ord="6" ts="67416" time="3" info="Started" path="ecus/step1/step2/step14" root="step14" level="3"/>
  <step ord="7" ts="67431" time="2" info="Started" path="ecus/step1/step2/step14/step19" root="step19" level="4"/>
  <step ord="8" ts="67786" time="357" info="Stopped" path="ecus/step1/step2/step14/step19" root="step19" level="4"/>
  <step ord="9" ts="67789" time="3" info="Started" path="ecus/step1/step2/step14/step57" root="step57" level="4"/>
  <step ord="10" ts="67801" time="15" info="Stopped" path="ecus/step1/step2/step14/step57" root="step57" level="4"/>
  <step ord="11" ts="67804" time="2" info="Started" path=" ecus/step1/step2/step14/step8" root="step8" level="4"/>
  <step ord="12" ts="67805" time="3" info="Stopped" path=" ecus/step1/step2/step14/step8" root="step8" level="4"/>
  <step ord="13" ts="67807" time="2" info="Started" path="ecus/step1/step2/step14/step9" root="step9" level="4"/>
  <step ord="14" ts="67808" time="3" info="Stopped" path="ecus/step1/step2/step14/step9" root="step9" level="4"/>
  <step ord="15" ts="67811" time="3" info="Started" path="ecus/step1/step2/step14/step12" root="step12" level="4"/>
[...]

...第二步将这个平面 XML 转换为 XML 树,其中 path 属性值表示为结构:

<?xml version="1.0" encoding="UTF-8"?>
<profile>
   <ecus start="67235" time="3105043">
      <step1 start="67306" time="2363792">
         <step7 start="67384" time="9952">
            <step28 start="67387" time="28"/>
            <step14 start="67416" time="9920">
               <step19 start="67431" time="357"/>
               <step57 start="67789" time="15"/>
               <step8 start="67804" time="3"/>
               <step9 start="67807" time="3"/>
               <step12 start="67811" time="12"/>
               <step13 start="67823" time="3"/>
               <step15 start="67827" time="1411"/>
               <step16 start="69238" time="3"/>
               <step18 start="69241" time="134"/>
               <step30 start="69404" time="320"/>
               <step31 start="69736" time="3"/>
               <step16 start="69736" time="1"/>
               <step29 start="69755" time="35"/>
               <step6 start="69808" time="917">
                  <step20 start="70084" time="641">
                     <step23 start="70099" time="9"/>
                     <step26 start="70114" time="3"/> 
[...]

作为第二步的代码,我使用的是:

<xsl:template match="step" mode="unflatten1">
    <xsl:variable name="start" select="current()"/>
    <xsl:variable name="stop" select="$start/following-sibling::step[@info='Stopped' and @path = $start/@path][1]"/>
    <xsl:element name="{$start/@root}">
        <xsl:attribute name="start" select="$start/@ts"/>
        <xsl:attribute name="time" select="$stop/@time"/>
        <xsl:apply-templates select="key('startedthreads',@level + 1)[number(@ord) &gt; number($start/@ord) and number(@ord) &lt; number($stop/@ord)]" mode="unflatten1"/>
    </xsl:element>
</xsl:template>

它工作正常,但使用此模板的性能似乎很差。

我预计第 2 步使用大约 30000 行的原始输入文件需要 1 到 2 秒(参见下面的 link 项目),但它在第 10 代 i7 处理器上持续 4 到 5 秒。平台:-/

我的问题:XPath 或 XSLT 中是否有设置或其他方法或技术(如索引 ord 或属性组合)或函数可以帮助加快第 2 步 运行 的速度?

您将在此处找到代码:https://gitlab.com/ms452206/socode20200906

从代码中逆向工程要求总是很棘手,但至少在这种情况下它是工作代码!

症结似乎是

<xsl:apply-templates select="key('startedthreads',@level + 1)
    [number(@ord) &gt; number($start/@ord) and 
     number(@ord) &lt; number($stop/@ord)]" mode="unflatten1"/>

对 key() 的调用不会很有用,因为它将 select 每个键值的大量元素。 (事实上​​我记得最近有一个与具有大量重复键的键相关的性能错误,但我现在找不到它)。

作为第一步,我倾向于按 @level 对数据进行分组,这样您就可以 select 快速完成给定级别的所有步骤。

那我觉得你需要确保当你找到第一个大于$stop/@ord@ord时停止给定级别的搜索。您知道数据已排序,但 Saxon 没有,您需要以某种方式利用这些知识。一种方法是使用 xsl:iterate 明确搜索数据,这允许您在遇到相关条件时中断。另一种选择可能是使用(新)saxon:items-until() 扩展函数 [1],或者可能使用范围键 [2]。或者您可以使用一次调用自己一个兄弟的递归函数以旧方式完成。

[1] https://saxonica.com/documentation/index.html#!functions/saxon/items-until

[2]https://saxonica.com/documentation/index.html#!functions/saxon/key-map

我已经尝试使用 for-each-group group-starting-with/group-ending-with 和 XSLT 3:

<?xml version="1.0" encoding="UTF-8"?>
<xsl:stylesheet xmlns:xsl="http://www.w3.org/1999/XSL/Transform"
    xmlns:xs="http://www.w3.org/2001/XMLSchema"
    xmlns:mf="http://example.com/mf"
    exclude-result-prefixes="#all"
    version="3.0">
    
  <xsl:output indent="yes"/>

  <xsl:mode on-no-match="shallow-copy"/>

  <xsl:function name="mf:group" as="element()*">
      <xsl:param name="steps" as="element()*"/>
      <xsl:param name="level" as="xs:integer"/>
      <xsl:for-each-group
        select="$steps" group-starting-with="step[@level = $level and @info = 'Started']">
          <xsl:variable name="start" select="."/>
          <xsl:for-each-group 
             select="current-group() except ." 
             group-ending-with="step[@level = $level and @info = 'Stopped' and @path = $start/@path]">
             <xsl:variable name="stop" select="current-group()[last()]"/>
          <xsl:element name="{normalize-space($start/@root)}">
              <xsl:attribute name="start" select="$start/@ts"/>
              <xsl:attribute name="time" select="$stop/@time"/>
              <xsl:sequence select="mf:group(current-group()[position() lt last()], $level + 1)"/>
          </xsl:element>              
          </xsl:for-each-group>
      </xsl:for-each-group>
  </xsl:function>

  <xsl:template match="profile">
      <xsl:copy>
          <xsl:sequence
            select="mf:group(step, 0)"/>
      </xsl:copy>
  </xsl:template>
  
</xsl:stylesheet>

https://xsltfiddle.liberty-development.net/ehW12g8

运行 Saxon HE 10.2 Java 在我的笔记本上对着你的扁平 XML 需要 Execution time: 854.9807ms.

我认为 XSLT/XPath 3 使用 unparsed-text-lines 而不是 xsl:analyze-string 的第一步也更容易并且性能更好:

   <xsl:variable name="flatprofile">
            <profile>
                <xsl:choose>
                    <xsl:when test="unparsed-text-available($file, $encoding)">
                        <xsl:variable name="content" select="unparsed-text($file, $encoding)"/>
                        <xsl:for-each select="unparsed-text-lines($file, $encoding)">
                                <step>
                                    <xsl:for-each select="tokenize(.,'\|')">
                                        <xsl:variable name="pos" select="position()"/>
                                        <xsl:choose>
                                            <xsl:when test="$pos = 1">
                                                <xsl:attribute name="ts" select="normalize-space(.)"/>
                                            </xsl:when>
                                            <xsl:when test="$pos = 2">
                                                <xsl:attribute name="time" select="normalize-space(.)"/>
                                            </xsl:when>
                                            <xsl:when test="$pos = 4">
                                                <xsl:attribute name="info" select="normalize-space(.)"/>
                                            </xsl:when>
                                            <xsl:when test="$pos = 5">
                                                <xsl:attribute name="path" select="."/>
                                                <xsl:attribute name="root" select="tokenize(.,'/')[last()]"/>
                                                <xsl:attribute name="level" select="string-length(.) - string-length(translate(., '/', ''))"/>
                                            </xsl:when>
                                        </xsl:choose>
                                    </xsl:for-each>
                                </step>                   
                        </xsl:for-each>
                    </xsl:when>
                    <xsl:otherwise>
                        <xsl:variable name="error">
                            <xsl:text>Error reading "</xsl:text>
                            <xsl:value-of select="$file"/>
                        </xsl:variable>
                        <xsl:message><xsl:value-of select="$error"/></xsl:message>
                        <xsl:value-of select="$error"/>
                    </xsl:otherwise>
                </xsl:choose>
            </profile>
       
    </xsl:variable>

然后主模板将使用

<xsl:template match="/" name="txt2xml">
    <profile>
        <xsl:sequence select="mf:group($flatprofile/profile/step, 0)"/>
    </profile>
</xsl:template>

然后我的系统需要 1.1 或 1.2 秒来完成整个转换,使用 Java 8 和 Saxon 10.2 HE。

为了简化整个方法(并希望能进一步减少所需的时间)我从两步“文本 -> XML”和“XML 的递归分组”切换" 到从纯文本创建的 light-weight 映射序列的递归分组:

<xsl:stylesheet version="3.0" xmlns:map="http://www.w3.org/2005/xpath-functions/map"
    xmlns:xsl="http://www.w3.org/1999/XSL/Transform" xmlns:xs="http://www.w3.org/2001/XMLSchema"
    xmlns:mf="http://example.com/mf" exclude-result-prefixes="#all">

    <xsl:output indent="yes" method="xml"/>
    
    <xsl:param name="encoding" as="xs:string" select="'utf-8'"/>

    <xsl:param name="file" as="xs:string" select="''"/>

    <xsl:function name="mf:group" as="element()*">
        <xsl:param name="steps" as="map(xs:string, xs:anyAtomicType)*"/>
        <xsl:param name="level" as="xs:integer"/>
        <xsl:for-each-group select="$steps"
            group-starting-with=".[?level eq $level and ?info eq 'Started']">
            <xsl:variable name="start" select="."/>
            <xsl:for-each-group select="current-group() => tail()"
                group-ending-with=".[?level eq $level and ?info eq 'Stopped' and ?path eq $start?path]">
                <xsl:variable name="stop" select="current-group()[last()]"/>
                <xsl:element name="{normalize-space($start?root)}">
                    <xsl:attribute name="start" select="$start?ts"/>
                    <xsl:attribute name="time" select="$stop?time"/>
                    <xsl:sequence
                        select="mf:group(current-group()[position() lt last()], $level + 1)"/>
                </xsl:element>
            </xsl:for-each-group>
        </xsl:for-each-group>
    </xsl:function>

    <xsl:template name="xsl:initial-template">
        <profile>
            <xsl:choose>
                <xsl:when test="unparsed-text-available($file, $encoding)">
                    <xsl:sequence
                        select="
                            mf:group(
                                unparsed-text-lines($file, $encoding)
                                !
                                (let $tokens := tokenize(., '\|') ! normalize-space(),
                                     $token5 := $tokens[5],
                                     $token5Tokens := tokenize($token5, '/')
                                return
                                    map {
                                        'ts': $tokens[1],
                                        'time': $tokens[2],
                                        'info': $tokens[4],
                                        'path': $token5,
                                        'root': $token5Tokens[last()],
                                        'level': count($token5Tokens) - 1
                                    }), 
                                0
                            )"
                    />
                </xsl:when>
                <xsl:otherwise>
                    <xsl:variable name="error">
                        <xsl:text>Error reading "</xsl:text>
                        <xsl:value-of select="$file"/>
                    </xsl:variable>
                    <xsl:message>
                        <xsl:value-of select="$error"/>
                    </xsl:message>
                    <xsl:value-of select="$error"/>
                </xsl:otherwise>
            </xsl:choose>
        </profile>
    </xsl:template>

</xsl:stylesheet>

然而,虽然这略微减少了内存消耗,但它的执行速度似乎确实比 XML 后跟 XML 方法的递归分组的文本要慢一些。

使用 Saxon 扩展函数也有助于加快处理速度。

当前带有样式表输入的“模板基准”profile.txt and expected output profile.xml

  • 模板 txt2xml_s0 什么都不做(因此只显示 java 和 Saxon 加载时间)
  • 模板 txt2xml_s1 是原始解决方案(不错,但可以改进,如上面的答案所示)
  • 模板txt2xml_s4实现第一个
  • Template txt2xml_s5是带有Saxon扩展功能的方法,性能最好,内存消耗最低; 我现在的首选解决方案
  • 模板txt2xml_s6实现了第二种,内存消耗较少

我更新了repository. It includes all known solutions. The extension function code is ScanFile.java