Python：用多处理替换 xml 个元素

Question

我有两个不同的 .xml 文件，我想创建一个程序，用 2.xml 中的 child 替换 1.xml 中的 child
1.xml 看起来像这样：

<CATALOG>
   <ITEM>
      <COLOR>11</COLOR>
      <COLORNAME>Black</COLORNAME>
   </ITEM>
   <ITEM>
      <COLOR>41</COLOR>
      <COLORNAME>Aqua</COLORNAME>
   </ITEM>
   <ITEM>
      ...
   </ITEM>
</CATALOG>

和 2.xml 看起来像这样：

<CODES>
   <ITEM>
      <ITEMTYPE>P</ITEMTYPE>
      <ITEMID>44</ITEMID>
      <COLOR>Black</COLOR>
   </ITEM>
   <ITEM>
      <ITEMTYPE>P</ITEMTYPE>
      <ITEMID>44</ITEMID>
      <COLOR>Blue</COLOR>
   </ITEM>
   <ITEM>
      ...
   </ITEM>
</CODES>

我的目标是获得一个 3.xml 文件，它应该如下所示：

<CODES>
   <ITEM>
      <ITEMTYPE>P</ITEMTYPE>
      <ITEMID>44</ITEMID>
      <COLOR>11</COLOR>
   </ITEM>
   <ITEM>
      <ITEMTYPE>P</ITEMTYPE>
      <ITEMID>44</ITEMID>
      <COLOR>7</COLOR>
   </ITEM>
   <ITEM>
      ...
   </ITEM>
</CODES>

我现在编写了一个脚本，将 1.xml 的 <COLOR> 更改为 2.xml 的 <COLOR>，并比较了 2.xml 的 <COLORNAME> ] 和来自 1.xml

的 <COLOR>

import xml.etree.ElementTree as ET

codes = ET.parse('./datasets/1.xml')
root_codes = codes.getroot()

colors = ET.parse('./datasets/2.xml')
root_colors = colors.getroot()
done=0

for colorname in root_codes.findall('ITEM'):
    codes_color_name = colorname.find('COLOR').text
    for color in root_colors.iter('ITEM'):
        color_name = color.find('COLORNAME').text
        if codes_color_name == color_name:
            color_id = color.find('COLOR').text
            colorname.find('COLOR').text = str(color_id)
            codes.write('3.xml')
            done=done+1
    print(done)

我用 cut-down 版本的 1.xml 尝试了这个，它似乎有效。因为这真的很慢（1.xml ~300k 行 & 2.xml ~3k 行）我尝试使用多处理，这就是我想出的：

import xml.etree.ElementTree as ET
from multiprocessing import Pool
import multiprocessing
import os

codes = ET.parse('./datasets/1.xml')
root_codes = codes.getroot()

colors = ET.parse('./datasets/2.xml')
root_colors = colors.getroot()

def process_item(colorname):
    codes_color_name = colorname.find('COLOR').text
    for color in root_colors.iter('ITEM'):
        color_name = color.find('COLORNAME').text
        if codes_color_name == color_name:
            color_id = color.find('COLOR').text
            colorname.find('COLOR').text = str(color_id)
            codes.write('3.xml')
            break
if __name__ == '__main__':
    pool = Pool(os.cpu_count())
    pool.map(process_item, root_codes.findall('ITEM'))

我用 cut-down 版本的 1.xml 尝试了这个，它基本上吐出相同的文件，没有任何改变。有没有更有效的方法来做到这一点，或者我使用多处理的方式有什么问题？

Answer 1

使用多处理是另一回事。让我们首先关注优化它。

代码在这里的工作方式实际上做了很多不必要的处理，比如每次从 1.xml 中查找颜色的值，同时它可以预先存储和使用。另外在更新的时候是在2.xml中每次都找颜色更新，这两种查找在这里都可以避免，只需要简单的遍历就可以解决问题。

那么可以做些什么来实现这一点，那就是维护一对字典（color_name，color_code）。这个字典可以通过完全遍历 1.xml 一次来完成，然后在准备好这个字典之后 2.xml 的元素可以被遍历并且对于每个元素颜色代码值可以从字典中获取并且在更新颜色之后2.xml的所有元素的代码可以存储在3.xml

中

import xml.etree.ElementTree as ET

codes = ET.parse('./datasets/1.xml')
root_codes = codes.getroot()

colors = ET.parse('./datasets/2.xml')
root_colors = colors.getroot()
done=0

color_code_dict = {}
for color_item in root_colors.iter('ITEM'):
    color_code = color_item.find('COLOR').text
    color_name = color_item.find('COLORNAME').text
    color_code_dict[color_name] = color_code


for code_item in root_codes.iter('ITEM'):
    code_color = code_item.find('COLOR').text
    code_item.find('COLOR').text = color_code_dict.get(code_color)

codes.write('3.xml')
print("Done")

P.S.: 确保从写入文件中获取颜色和代码。

Python：用多处理替换 xml 个元素

Python: replacing xml elements with multiprocessing

python

xml

multiprocessing

xml.etree

python-multiprocessing