如何使文本到 XML 的转换更快?
How to make text to XML transformation faster?
我有一个关于如何使 XSLT 脚本更快的问题。输入是一个带有时间测量值的文本文件,如下所示:
67235 | 8 | ecus | Started | ecus
67306 | 2 | step1 | Started | ecus/step1
67384 | 2 | step7 | Started | ecus/step1/step7
67387 | 2 | step28 | Started | ecus/step1/step2/step28
67413 | 28 | step28 | Stopped | ecus/step1/step2/step28
67416 | 3 | step14 | Started | ecus/step1/step2/step14
67431 | 2 | step19 | Started | ecus/step1/step2/step14/step19
67786 | 357 | step19 | Stopped | ecus/step1/step2/step14/step19
67789 | 3 | step57 | Started | ecus/step1/step2/step14/step57
67801 | 15 | step57 | Stopped | ecus/step1/step2/step14/step57
67804 | 2 | step8 | Started | ecus/step1/step2/step14/step8
67805 | 3 | step8 | Stopped | ecus/step1/step2/step14/step8
67807 | 2 | step9 | Started | ecus/step1/step2/step14/step9
67808 | 3 | step9 | Stopped | ecus/step1/step2/step14/step9
67811 | 3 | step12 | Started | ecus/step1/step2/step14/step12
67820 | 12 | step12 | Stopped | ecus/step1/step2/step14/step12
67823 | 2 | step13 | Started | ecus/step1/step2/step14/step13
67824 | 3 | step13 | Stopped | ecus/step1/step2/step14/step13
67827 | 3 | step15 | Started | ecus/step1/step2/step14/step15
69235 | 1411 | step15 | Stopped | ecus/step1/step2/step14/step15
69238 | 3 | step16 | Started | ecus/step1/step2/step14/step16
69238 | 3 | step16 | Stopped | ecus/step1/step2/step14/step16
69241 | 2 | step18 | Started | ecus/step1/step2/step14/step18
69373 | 134 | step18 | Stopped | ecus/step1/step2/step14/step18
69404 | 2 | step30 | Started | ecus/step1/step2/step14/step30
69722 | 320 | step30 | Stopped | ecus/step1/step2/step14/step30
69736 | 3 | step31 | Started | ecus/step1/step2/step14/step31
[...]
我有一个 XSLT 模板,可以分两步转换此数据。第一步是从文本中创建一个“平面”XML 结构;输出如下所示:
<profile>
<step ord="1" ts="67235" time="8" info="Started" path="ecus" root="ecus" level="0"/>
<step ord="2" ts="67306" time="2" info="Started" path="ecus/step1" root="step1" level="1"/>
<step ord="3" ts="67384" time="2" info="Started" path="ecus/step1/step7" root="step7" level="2"/>
<step ord="4" ts="67387" time="2" info="Started" path="ecus/step1/step2/step28" root="step28" level="3"/>
<step ord="5" ts="67413" time="28" info="Stopped" path="ecus/step1/step2/step28" root="step28" level="3"/>
<step ord="6" ts="67416" time="3" info="Started" path="ecus/step1/step2/step14" root="step14" level="3"/>
<step ord="7" ts="67431" time="2" info="Started" path="ecus/step1/step2/step14/step19" root="step19" level="4"/>
<step ord="8" ts="67786" time="357" info="Stopped" path="ecus/step1/step2/step14/step19" root="step19" level="4"/>
<step ord="9" ts="67789" time="3" info="Started" path="ecus/step1/step2/step14/step57" root="step57" level="4"/>
<step ord="10" ts="67801" time="15" info="Stopped" path="ecus/step1/step2/step14/step57" root="step57" level="4"/>
<step ord="11" ts="67804" time="2" info="Started" path=" ecus/step1/step2/step14/step8" root="step8" level="4"/>
<step ord="12" ts="67805" time="3" info="Stopped" path=" ecus/step1/step2/step14/step8" root="step8" level="4"/>
<step ord="13" ts="67807" time="2" info="Started" path="ecus/step1/step2/step14/step9" root="step9" level="4"/>
<step ord="14" ts="67808" time="3" info="Stopped" path="ecus/step1/step2/step14/step9" root="step9" level="4"/>
<step ord="15" ts="67811" time="3" info="Started" path="ecus/step1/step2/step14/step12" root="step12" level="4"/>
[...]
...第二步将这个平面 XML 转换为 XML 树,其中 path
属性值表示为结构:
<?xml version="1.0" encoding="UTF-8"?>
<profile>
<ecus start="67235" time="3105043">
<step1 start="67306" time="2363792">
<step7 start="67384" time="9952">
<step28 start="67387" time="28"/>
<step14 start="67416" time="9920">
<step19 start="67431" time="357"/>
<step57 start="67789" time="15"/>
<step8 start="67804" time="3"/>
<step9 start="67807" time="3"/>
<step12 start="67811" time="12"/>
<step13 start="67823" time="3"/>
<step15 start="67827" time="1411"/>
<step16 start="69238" time="3"/>
<step18 start="69241" time="134"/>
<step30 start="69404" time="320"/>
<step31 start="69736" time="3"/>
<step16 start="69736" time="1"/>
<step29 start="69755" time="35"/>
<step6 start="69808" time="917">
<step20 start="70084" time="641">
<step23 start="70099" time="9"/>
<step26 start="70114" time="3"/>
[...]
作为第二步的代码,我使用的是:
<xsl:template match="step" mode="unflatten1">
<xsl:variable name="start" select="current()"/>
<xsl:variable name="stop" select="$start/following-sibling::step[@info='Stopped' and @path = $start/@path][1]"/>
<xsl:element name="{$start/@root}">
<xsl:attribute name="start" select="$start/@ts"/>
<xsl:attribute name="time" select="$stop/@time"/>
<xsl:apply-templates select="key('startedthreads',@level + 1)[number(@ord) > number($start/@ord) and number(@ord) < number($stop/@ord)]" mode="unflatten1"/>
</xsl:element>
</xsl:template>
它工作正常,但使用此模板的性能似乎很差。
我预计第 2 步使用大约 30000 行的原始输入文件需要 1 到 2 秒(参见下面的 link 项目),但它在第 10 代 i7 处理器上持续 4 到 5 秒。平台:-/
我的问题:XPath 或 XSLT 中是否有设置或其他方法或技术(如索引 ord
或属性组合)或函数可以帮助加快第 2 步 运行 的速度?
从代码中逆向工程要求总是很棘手,但至少在这种情况下它是工作代码!
症结似乎是
<xsl:apply-templates select="key('startedthreads',@level + 1)
[number(@ord) > number($start/@ord) and
number(@ord) < number($stop/@ord)]" mode="unflatten1"/>
对 key() 的调用不会很有用,因为它将 select 每个键值的大量元素。 (事实上我记得最近有一个与具有大量重复键的键相关的性能错误,但我现在找不到它)。
作为第一步,我倾向于按 @level
对数据进行分组,这样您就可以 select 快速完成给定级别的所有步骤。
那我觉得你需要确保当你找到第一个大于$stop/@ord
的@ord
时停止给定级别的搜索。您知道数据已排序,但 Saxon 没有,您需要以某种方式利用这些知识。一种方法是使用 xsl:iterate
明确搜索数据,这允许您在遇到相关条件时中断。另一种选择可能是使用(新)saxon:items-until() 扩展函数 [1],或者可能使用范围键 [2]。或者您可以使用一次调用自己一个兄弟的递归函数以旧方式完成。
[1] https://saxonica.com/documentation/index.html#!functions/saxon/items-until
[2]https://saxonica.com/documentation/index.html#!functions/saxon/key-map
我已经尝试使用 for-each-group group-starting-with/group-ending-with
和 XSLT 3:
<?xml version="1.0" encoding="UTF-8"?>
<xsl:stylesheet xmlns:xsl="http://www.w3.org/1999/XSL/Transform"
xmlns:xs="http://www.w3.org/2001/XMLSchema"
xmlns:mf="http://example.com/mf"
exclude-result-prefixes="#all"
version="3.0">
<xsl:output indent="yes"/>
<xsl:mode on-no-match="shallow-copy"/>
<xsl:function name="mf:group" as="element()*">
<xsl:param name="steps" as="element()*"/>
<xsl:param name="level" as="xs:integer"/>
<xsl:for-each-group
select="$steps" group-starting-with="step[@level = $level and @info = 'Started']">
<xsl:variable name="start" select="."/>
<xsl:for-each-group
select="current-group() except ."
group-ending-with="step[@level = $level and @info = 'Stopped' and @path = $start/@path]">
<xsl:variable name="stop" select="current-group()[last()]"/>
<xsl:element name="{normalize-space($start/@root)}">
<xsl:attribute name="start" select="$start/@ts"/>
<xsl:attribute name="time" select="$stop/@time"/>
<xsl:sequence select="mf:group(current-group()[position() lt last()], $level + 1)"/>
</xsl:element>
</xsl:for-each-group>
</xsl:for-each-group>
</xsl:function>
<xsl:template match="profile">
<xsl:copy>
<xsl:sequence
select="mf:group(step, 0)"/>
</xsl:copy>
</xsl:template>
</xsl:stylesheet>
https://xsltfiddle.liberty-development.net/ehW12g8
运行 Saxon HE 10.2 Java 在我的笔记本上对着你的扁平 XML 需要 Execution time: 854.9807ms
.
我认为 XSLT/XPath 3 使用 unparsed-text-lines
而不是 xsl:analyze-string
的第一步也更容易并且性能更好:
<xsl:variable name="flatprofile">
<profile>
<xsl:choose>
<xsl:when test="unparsed-text-available($file, $encoding)">
<xsl:variable name="content" select="unparsed-text($file, $encoding)"/>
<xsl:for-each select="unparsed-text-lines($file, $encoding)">
<step>
<xsl:for-each select="tokenize(.,'\|')">
<xsl:variable name="pos" select="position()"/>
<xsl:choose>
<xsl:when test="$pos = 1">
<xsl:attribute name="ts" select="normalize-space(.)"/>
</xsl:when>
<xsl:when test="$pos = 2">
<xsl:attribute name="time" select="normalize-space(.)"/>
</xsl:when>
<xsl:when test="$pos = 4">
<xsl:attribute name="info" select="normalize-space(.)"/>
</xsl:when>
<xsl:when test="$pos = 5">
<xsl:attribute name="path" select="."/>
<xsl:attribute name="root" select="tokenize(.,'/')[last()]"/>
<xsl:attribute name="level" select="string-length(.) - string-length(translate(., '/', ''))"/>
</xsl:when>
</xsl:choose>
</xsl:for-each>
</step>
</xsl:for-each>
</xsl:when>
<xsl:otherwise>
<xsl:variable name="error">
<xsl:text>Error reading "</xsl:text>
<xsl:value-of select="$file"/>
</xsl:variable>
<xsl:message><xsl:value-of select="$error"/></xsl:message>
<xsl:value-of select="$error"/>
</xsl:otherwise>
</xsl:choose>
</profile>
</xsl:variable>
然后主模板将使用
<xsl:template match="/" name="txt2xml">
<profile>
<xsl:sequence select="mf:group($flatprofile/profile/step, 0)"/>
</profile>
</xsl:template>
然后我的系统需要 1.1 或 1.2 秒来完成整个转换,使用 Java 8 和 Saxon 10.2 HE。
为了简化整个方法(并希望能进一步减少所需的时间)我从两步“文本 -> XML”和“XML 的递归分组”切换" 到从纯文本创建的 light-weight 映射序列的递归分组:
<xsl:stylesheet version="3.0" xmlns:map="http://www.w3.org/2005/xpath-functions/map"
xmlns:xsl="http://www.w3.org/1999/XSL/Transform" xmlns:xs="http://www.w3.org/2001/XMLSchema"
xmlns:mf="http://example.com/mf" exclude-result-prefixes="#all">
<xsl:output indent="yes" method="xml"/>
<xsl:param name="encoding" as="xs:string" select="'utf-8'"/>
<xsl:param name="file" as="xs:string" select="''"/>
<xsl:function name="mf:group" as="element()*">
<xsl:param name="steps" as="map(xs:string, xs:anyAtomicType)*"/>
<xsl:param name="level" as="xs:integer"/>
<xsl:for-each-group select="$steps"
group-starting-with=".[?level eq $level and ?info eq 'Started']">
<xsl:variable name="start" select="."/>
<xsl:for-each-group select="current-group() => tail()"
group-ending-with=".[?level eq $level and ?info eq 'Stopped' and ?path eq $start?path]">
<xsl:variable name="stop" select="current-group()[last()]"/>
<xsl:element name="{normalize-space($start?root)}">
<xsl:attribute name="start" select="$start?ts"/>
<xsl:attribute name="time" select="$stop?time"/>
<xsl:sequence
select="mf:group(current-group()[position() lt last()], $level + 1)"/>
</xsl:element>
</xsl:for-each-group>
</xsl:for-each-group>
</xsl:function>
<xsl:template name="xsl:initial-template">
<profile>
<xsl:choose>
<xsl:when test="unparsed-text-available($file, $encoding)">
<xsl:sequence
select="
mf:group(
unparsed-text-lines($file, $encoding)
!
(let $tokens := tokenize(., '\|') ! normalize-space(),
$token5 := $tokens[5],
$token5Tokens := tokenize($token5, '/')
return
map {
'ts': $tokens[1],
'time': $tokens[2],
'info': $tokens[4],
'path': $token5,
'root': $token5Tokens[last()],
'level': count($token5Tokens) - 1
}),
0
)"
/>
</xsl:when>
<xsl:otherwise>
<xsl:variable name="error">
<xsl:text>Error reading "</xsl:text>
<xsl:value-of select="$file"/>
</xsl:variable>
<xsl:message>
<xsl:value-of select="$error"/>
</xsl:message>
<xsl:value-of select="$error"/>
</xsl:otherwise>
</xsl:choose>
</profile>
</xsl:template>
</xsl:stylesheet>
然而,虽然这略微减少了内存消耗,但它的执行速度似乎确实比 XML 后跟 XML 方法的递归分组的文本要慢一些。
使用 Saxon 扩展函数也有助于加快处理速度。
当前带有样式表输入的“模板基准”profile.txt
and expected output profile.xml
:
- 模板
txt2xml_s0
什么都不做(因此只显示 java 和 Saxon 加载时间)
- 模板
txt2xml_s1
是原始解决方案(不错,但可以改进,如上面的答案所示)
- 模板
txt2xml_s4
实现第一个
- Template
txt2xml_s5
是带有Saxon扩展功能的方法,性能最好,内存消耗最低; 我现在的首选解决方案
- 模板
txt2xml_s6
实现了第二种,内存消耗较少
我更新了repository. It includes all known solutions. The extension function code is ScanFile.java
。
我有一个关于如何使 XSLT 脚本更快的问题。输入是一个带有时间测量值的文本文件,如下所示:
67235 | 8 | ecus | Started | ecus
67306 | 2 | step1 | Started | ecus/step1
67384 | 2 | step7 | Started | ecus/step1/step7
67387 | 2 | step28 | Started | ecus/step1/step2/step28
67413 | 28 | step28 | Stopped | ecus/step1/step2/step28
67416 | 3 | step14 | Started | ecus/step1/step2/step14
67431 | 2 | step19 | Started | ecus/step1/step2/step14/step19
67786 | 357 | step19 | Stopped | ecus/step1/step2/step14/step19
67789 | 3 | step57 | Started | ecus/step1/step2/step14/step57
67801 | 15 | step57 | Stopped | ecus/step1/step2/step14/step57
67804 | 2 | step8 | Started | ecus/step1/step2/step14/step8
67805 | 3 | step8 | Stopped | ecus/step1/step2/step14/step8
67807 | 2 | step9 | Started | ecus/step1/step2/step14/step9
67808 | 3 | step9 | Stopped | ecus/step1/step2/step14/step9
67811 | 3 | step12 | Started | ecus/step1/step2/step14/step12
67820 | 12 | step12 | Stopped | ecus/step1/step2/step14/step12
67823 | 2 | step13 | Started | ecus/step1/step2/step14/step13
67824 | 3 | step13 | Stopped | ecus/step1/step2/step14/step13
67827 | 3 | step15 | Started | ecus/step1/step2/step14/step15
69235 | 1411 | step15 | Stopped | ecus/step1/step2/step14/step15
69238 | 3 | step16 | Started | ecus/step1/step2/step14/step16
69238 | 3 | step16 | Stopped | ecus/step1/step2/step14/step16
69241 | 2 | step18 | Started | ecus/step1/step2/step14/step18
69373 | 134 | step18 | Stopped | ecus/step1/step2/step14/step18
69404 | 2 | step30 | Started | ecus/step1/step2/step14/step30
69722 | 320 | step30 | Stopped | ecus/step1/step2/step14/step30
69736 | 3 | step31 | Started | ecus/step1/step2/step14/step31
[...]
我有一个 XSLT 模板,可以分两步转换此数据。第一步是从文本中创建一个“平面”XML 结构;输出如下所示:
<profile>
<step ord="1" ts="67235" time="8" info="Started" path="ecus" root="ecus" level="0"/>
<step ord="2" ts="67306" time="2" info="Started" path="ecus/step1" root="step1" level="1"/>
<step ord="3" ts="67384" time="2" info="Started" path="ecus/step1/step7" root="step7" level="2"/>
<step ord="4" ts="67387" time="2" info="Started" path="ecus/step1/step2/step28" root="step28" level="3"/>
<step ord="5" ts="67413" time="28" info="Stopped" path="ecus/step1/step2/step28" root="step28" level="3"/>
<step ord="6" ts="67416" time="3" info="Started" path="ecus/step1/step2/step14" root="step14" level="3"/>
<step ord="7" ts="67431" time="2" info="Started" path="ecus/step1/step2/step14/step19" root="step19" level="4"/>
<step ord="8" ts="67786" time="357" info="Stopped" path="ecus/step1/step2/step14/step19" root="step19" level="4"/>
<step ord="9" ts="67789" time="3" info="Started" path="ecus/step1/step2/step14/step57" root="step57" level="4"/>
<step ord="10" ts="67801" time="15" info="Stopped" path="ecus/step1/step2/step14/step57" root="step57" level="4"/>
<step ord="11" ts="67804" time="2" info="Started" path=" ecus/step1/step2/step14/step8" root="step8" level="4"/>
<step ord="12" ts="67805" time="3" info="Stopped" path=" ecus/step1/step2/step14/step8" root="step8" level="4"/>
<step ord="13" ts="67807" time="2" info="Started" path="ecus/step1/step2/step14/step9" root="step9" level="4"/>
<step ord="14" ts="67808" time="3" info="Stopped" path="ecus/step1/step2/step14/step9" root="step9" level="4"/>
<step ord="15" ts="67811" time="3" info="Started" path="ecus/step1/step2/step14/step12" root="step12" level="4"/>
[...]
...第二步将这个平面 XML 转换为 XML 树,其中 path
属性值表示为结构:
<?xml version="1.0" encoding="UTF-8"?>
<profile>
<ecus start="67235" time="3105043">
<step1 start="67306" time="2363792">
<step7 start="67384" time="9952">
<step28 start="67387" time="28"/>
<step14 start="67416" time="9920">
<step19 start="67431" time="357"/>
<step57 start="67789" time="15"/>
<step8 start="67804" time="3"/>
<step9 start="67807" time="3"/>
<step12 start="67811" time="12"/>
<step13 start="67823" time="3"/>
<step15 start="67827" time="1411"/>
<step16 start="69238" time="3"/>
<step18 start="69241" time="134"/>
<step30 start="69404" time="320"/>
<step31 start="69736" time="3"/>
<step16 start="69736" time="1"/>
<step29 start="69755" time="35"/>
<step6 start="69808" time="917">
<step20 start="70084" time="641">
<step23 start="70099" time="9"/>
<step26 start="70114" time="3"/>
[...]
作为第二步的代码,我使用的是:
<xsl:template match="step" mode="unflatten1">
<xsl:variable name="start" select="current()"/>
<xsl:variable name="stop" select="$start/following-sibling::step[@info='Stopped' and @path = $start/@path][1]"/>
<xsl:element name="{$start/@root}">
<xsl:attribute name="start" select="$start/@ts"/>
<xsl:attribute name="time" select="$stop/@time"/>
<xsl:apply-templates select="key('startedthreads',@level + 1)[number(@ord) > number($start/@ord) and number(@ord) < number($stop/@ord)]" mode="unflatten1"/>
</xsl:element>
</xsl:template>
它工作正常,但使用此模板的性能似乎很差。
我预计第 2 步使用大约 30000 行的原始输入文件需要 1 到 2 秒(参见下面的 link 项目),但它在第 10 代 i7 处理器上持续 4 到 5 秒。平台:-/
我的问题:XPath 或 XSLT 中是否有设置或其他方法或技术(如索引 ord
或属性组合)或函数可以帮助加快第 2 步 运行 的速度?
从代码中逆向工程要求总是很棘手,但至少在这种情况下它是工作代码!
症结似乎是
<xsl:apply-templates select="key('startedthreads',@level + 1)
[number(@ord) > number($start/@ord) and
number(@ord) < number($stop/@ord)]" mode="unflatten1"/>
对 key() 的调用不会很有用,因为它将 select 每个键值的大量元素。 (事实上我记得最近有一个与具有大量重复键的键相关的性能错误,但我现在找不到它)。
作为第一步,我倾向于按 @level
对数据进行分组,这样您就可以 select 快速完成给定级别的所有步骤。
那我觉得你需要确保当你找到第一个大于$stop/@ord
的@ord
时停止给定级别的搜索。您知道数据已排序,但 Saxon 没有,您需要以某种方式利用这些知识。一种方法是使用 xsl:iterate
明确搜索数据,这允许您在遇到相关条件时中断。另一种选择可能是使用(新)saxon:items-until() 扩展函数 [1],或者可能使用范围键 [2]。或者您可以使用一次调用自己一个兄弟的递归函数以旧方式完成。
[1] https://saxonica.com/documentation/index.html#!functions/saxon/items-until
[2]https://saxonica.com/documentation/index.html#!functions/saxon/key-map
我已经尝试使用 for-each-group group-starting-with/group-ending-with
和 XSLT 3:
<?xml version="1.0" encoding="UTF-8"?>
<xsl:stylesheet xmlns:xsl="http://www.w3.org/1999/XSL/Transform"
xmlns:xs="http://www.w3.org/2001/XMLSchema"
xmlns:mf="http://example.com/mf"
exclude-result-prefixes="#all"
version="3.0">
<xsl:output indent="yes"/>
<xsl:mode on-no-match="shallow-copy"/>
<xsl:function name="mf:group" as="element()*">
<xsl:param name="steps" as="element()*"/>
<xsl:param name="level" as="xs:integer"/>
<xsl:for-each-group
select="$steps" group-starting-with="step[@level = $level and @info = 'Started']">
<xsl:variable name="start" select="."/>
<xsl:for-each-group
select="current-group() except ."
group-ending-with="step[@level = $level and @info = 'Stopped' and @path = $start/@path]">
<xsl:variable name="stop" select="current-group()[last()]"/>
<xsl:element name="{normalize-space($start/@root)}">
<xsl:attribute name="start" select="$start/@ts"/>
<xsl:attribute name="time" select="$stop/@time"/>
<xsl:sequence select="mf:group(current-group()[position() lt last()], $level + 1)"/>
</xsl:element>
</xsl:for-each-group>
</xsl:for-each-group>
</xsl:function>
<xsl:template match="profile">
<xsl:copy>
<xsl:sequence
select="mf:group(step, 0)"/>
</xsl:copy>
</xsl:template>
</xsl:stylesheet>
https://xsltfiddle.liberty-development.net/ehW12g8
运行 Saxon HE 10.2 Java 在我的笔记本上对着你的扁平 XML 需要 Execution time: 854.9807ms
.
我认为 XSLT/XPath 3 使用 unparsed-text-lines
而不是 xsl:analyze-string
的第一步也更容易并且性能更好:
<xsl:variable name="flatprofile">
<profile>
<xsl:choose>
<xsl:when test="unparsed-text-available($file, $encoding)">
<xsl:variable name="content" select="unparsed-text($file, $encoding)"/>
<xsl:for-each select="unparsed-text-lines($file, $encoding)">
<step>
<xsl:for-each select="tokenize(.,'\|')">
<xsl:variable name="pos" select="position()"/>
<xsl:choose>
<xsl:when test="$pos = 1">
<xsl:attribute name="ts" select="normalize-space(.)"/>
</xsl:when>
<xsl:when test="$pos = 2">
<xsl:attribute name="time" select="normalize-space(.)"/>
</xsl:when>
<xsl:when test="$pos = 4">
<xsl:attribute name="info" select="normalize-space(.)"/>
</xsl:when>
<xsl:when test="$pos = 5">
<xsl:attribute name="path" select="."/>
<xsl:attribute name="root" select="tokenize(.,'/')[last()]"/>
<xsl:attribute name="level" select="string-length(.) - string-length(translate(., '/', ''))"/>
</xsl:when>
</xsl:choose>
</xsl:for-each>
</step>
</xsl:for-each>
</xsl:when>
<xsl:otherwise>
<xsl:variable name="error">
<xsl:text>Error reading "</xsl:text>
<xsl:value-of select="$file"/>
</xsl:variable>
<xsl:message><xsl:value-of select="$error"/></xsl:message>
<xsl:value-of select="$error"/>
</xsl:otherwise>
</xsl:choose>
</profile>
</xsl:variable>
然后主模板将使用
<xsl:template match="/" name="txt2xml">
<profile>
<xsl:sequence select="mf:group($flatprofile/profile/step, 0)"/>
</profile>
</xsl:template>
然后我的系统需要 1.1 或 1.2 秒来完成整个转换,使用 Java 8 和 Saxon 10.2 HE。
为了简化整个方法(并希望能进一步减少所需的时间)我从两步“文本 -> XML”和“XML 的递归分组”切换" 到从纯文本创建的 light-weight 映射序列的递归分组:
<xsl:stylesheet version="3.0" xmlns:map="http://www.w3.org/2005/xpath-functions/map"
xmlns:xsl="http://www.w3.org/1999/XSL/Transform" xmlns:xs="http://www.w3.org/2001/XMLSchema"
xmlns:mf="http://example.com/mf" exclude-result-prefixes="#all">
<xsl:output indent="yes" method="xml"/>
<xsl:param name="encoding" as="xs:string" select="'utf-8'"/>
<xsl:param name="file" as="xs:string" select="''"/>
<xsl:function name="mf:group" as="element()*">
<xsl:param name="steps" as="map(xs:string, xs:anyAtomicType)*"/>
<xsl:param name="level" as="xs:integer"/>
<xsl:for-each-group select="$steps"
group-starting-with=".[?level eq $level and ?info eq 'Started']">
<xsl:variable name="start" select="."/>
<xsl:for-each-group select="current-group() => tail()"
group-ending-with=".[?level eq $level and ?info eq 'Stopped' and ?path eq $start?path]">
<xsl:variable name="stop" select="current-group()[last()]"/>
<xsl:element name="{normalize-space($start?root)}">
<xsl:attribute name="start" select="$start?ts"/>
<xsl:attribute name="time" select="$stop?time"/>
<xsl:sequence
select="mf:group(current-group()[position() lt last()], $level + 1)"/>
</xsl:element>
</xsl:for-each-group>
</xsl:for-each-group>
</xsl:function>
<xsl:template name="xsl:initial-template">
<profile>
<xsl:choose>
<xsl:when test="unparsed-text-available($file, $encoding)">
<xsl:sequence
select="
mf:group(
unparsed-text-lines($file, $encoding)
!
(let $tokens := tokenize(., '\|') ! normalize-space(),
$token5 := $tokens[5],
$token5Tokens := tokenize($token5, '/')
return
map {
'ts': $tokens[1],
'time': $tokens[2],
'info': $tokens[4],
'path': $token5,
'root': $token5Tokens[last()],
'level': count($token5Tokens) - 1
}),
0
)"
/>
</xsl:when>
<xsl:otherwise>
<xsl:variable name="error">
<xsl:text>Error reading "</xsl:text>
<xsl:value-of select="$file"/>
</xsl:variable>
<xsl:message>
<xsl:value-of select="$error"/>
</xsl:message>
<xsl:value-of select="$error"/>
</xsl:otherwise>
</xsl:choose>
</profile>
</xsl:template>
</xsl:stylesheet>
然而,虽然这略微减少了内存消耗,但它的执行速度似乎确实比 XML 后跟 XML 方法的递归分组的文本要慢一些。
使用 Saxon 扩展函数也有助于加快处理速度。
当前带有样式表输入的“模板基准”profile.txt
and expected output profile.xml
:
- 模板
txt2xml_s0
什么都不做(因此只显示 java 和 Saxon 加载时间) - 模板
txt2xml_s1
是原始解决方案(不错,但可以改进,如上面的答案所示) - 模板
txt2xml_s4
实现第一个 - Template
txt2xml_s5
是带有Saxon扩展功能的方法,性能最好,内存消耗最低; 我现在的首选解决方案 - 模板
txt2xml_s6
实现了第二种,内存消耗较少
我更新了repository. It includes all known solutions. The extension function code is ScanFile.java
。