从 xml 文件中提取两个标签而不是一个

Question

我有这段代码可以正常工作。

它提取维基百科文章的所有标题。

import bz2
import xml.sax
import xml.sax.handler

class Handler(xml.sax.handler.ContentHandler):
    def __init__(self):
        self.__buffer = None

    def characters(self, data):
        if self.__buffer is None:
            return
        self.__buffer.append(data)

    def startElement(self, name, attrs):
        if name == 'title':
            self.__buffer = []

    def endElement(self, name):
        if self.__buffer is None:
            return
        print(repr(name), repr(''.join(self.__buffer)))
        self.__buffer = None

with bz2.open('/home/mrwiki-20210701-pages-meta-current.xml.bz2', 'r') as stream:
    xml.sax.parse(stream, Handler())

我正在尝试提取“文本”字段的 bytes 参数以及“标题”。这行不通，因为我只需要“字节”而不是实际文本。

if name == 'title':
    self.__buffer = []
if name == 'text':
    self.__buffer = []

这是一个示例记录...

myfile = """
<mediawiki xmlns="http://www.mediawiki.org/xml/export-0.10/" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.mediawiki.org/xml/expo
rt-0.10/ http://www.mediawiki.org/xml/export-0.10.xsd" version="0.10" xml:lang="mr">
  <siteinfo>
    <sitename>xyz</sitename>
    <dbname>mrwiki</dbname>
    <base>https://xx.wikipedia.org/wiki/xxxxxxxxxx</base>
    <generator>MediaWiki 1.37.0-wmf.11</generator>
    <case>first-letter</case>
    <namespaces>
      <namespace key="-2" case="first-letter">मिडिया</namespace>
      <namespace key="2303" case="case-sensitive">Gadget definition talk</namespace>
    </namespaces>
  </siteinfo>
  <page>
    <title>my_title </title>
    <ns>0</ns>
    <id>1</id>
    <revision>
      <id>1857942</id>
      <parentid>1629326</parentid>
      <timestamp>2020-12-26T11:34:51Z</timestamp>
      <contributor>
        <username>andesh9822</username>
        <id>66586</id>
      </contributor>
      <model>wikitext</model>
      <format>text/x-wiki</format>
      <text bytes="5823" xml:space="preserve"> some text
 </text>
      <sha1>11z9foqntwoukfd4xfjnfhpc9y33r25</sha1>
    </revision>
  </page>

"""

Current: my_title

Expected: my_title 5823

Answer 1

以下是使用 ElementTree 和 iterparse():

的方法

import bz2
from xml.etree import ElementTree as ET
 
with bz2.open("mrwiki-20210701-pages-meta-current.xml.bz2", "r") as stream:
    for _, elem in ET.iterparse(stream):
        if elem.tag == "{http://www.mediawiki.org/xml/export-0.10/}title":
            print(elem.text)
        if elem.tag == "{http://www.mediawiki.org/xml/export-0.10/}text":
            print(elem.get("bytes"))
        elem.clear()

iterparse() 构建了一个会占用大量内存的树结构。 elem.clear() 通过在处理完元素后从元素中删除所有内容来补救。

XML 文件中的元素绑定到 http://www.mediawiki.org/xml/export-0.10/ 命名空间。必须考虑到这一点。

下面是执行相同操作的基于 SAX 的代码。

import bz2
import xml.sax
import xml.sax.handler
 
class Handler(xml.sax.handler.ContentHandler):
    def characters(self, data):
        self.__buffer = data
 
    def startElement(self, name, attrs):
        if name == "title":
            self.__buffer = ""
        if name == "text":
            self.__buffer2 = attrs.getValue("bytes")
            
    def endElement(self, name):
        if name == "title":
            print(self.__buffer)
        if name == "text":
            print(self.__buffer2)
 
with bz2.open("mrwiki-20210701-pages-meta-current.xml.bz2", "r") as stream:
    xml.sax.parse(stream, Handler())

SAX 解析器消耗很少的内存，因为它只在事件发生时报告它们。

默认情况下，xml.sax.handler.feature_namespaces 为 false，这意味着解析器不报告与名称空间相关的事件。就好像没有命名空间一样。

从 xml 文件中提取两个标签而不是一个

extract two tags instead of one from xml file

python

xpath

sax

xmllint