在 Python 3 中使用 sys.stdin 进行文本处理时，我应该如何处理 BOM？

Question

注意：possible duplicate 涉及旧版本的 Python，此问题已经生成了唯一的答案。

我一直在编写一个脚本，用于将 Project Gutenberg Texts 文本处理为我正在开发的应用程序的内部文件格式。在脚本中，我使用 re 模块处理章节标题。这非常有效，除了一种情况：第一行。如果我的正则表达式包含 ^ 插入符以要求正则表达式匹配位于行的开头，那么我的正则表达式将始终在第一行的第一个章节标记上失败，因为 BOM 被用作第一个字符。（例如正则表达式：^Chapter）。

我发现，如果我不包含插入符号，它不会在第一行失败，然后 <feff> 在我处理后包含在标题中。一个例子：

<h1><feff>Chapter I</h1>

根据 this SO question (from which I learned of the BOM) is to fix your script to not consume/corrupt the BOM. Other SO questions 的建议讨论了使用编解码器解码文件但讨论了我从未遇到的错误并且不讨论使用模板解码器打开文件的语法。

要明确：

我一般使用以下格式的管道：

cat -s <filename> | <other scripts> | python <scriptname> [options] > <outfile>

我用以下语法打开文件：

import sys

fin = sys.stdin

if '-i' in sys.argv: # For command line option "-i <infile>"
    fin = open(sys.argv[sys.argv.index('-i') + 1], 'rt')

for line in fin:
    ...Processing here...

我的问题是处理这个问题的正确方法是什么？在处理文本之前是否删除 BOM？如果是这样，如何？还是在处理文件之前在文件上使用解码器（我正在从标准输入读取，所以如何完成此操作？）

文件以 DOS 结尾的 UTF-8 编码存储 (\r\n)。在使用 set ff=unix 处理之前，我将它们以 vim 格式转换为 UNIX 文件格式（我必须在运行脚本之前执行几个手动 pre-processing 任务）。

Answer 1

在 Python 3 中，stdin 应该正确地自动解码，但如果它不适合你（以及 Python 2）你需要在调用你的脚本之前指定PythonIOEncoding，比如

PYTHONIOENCODING="UTF-8-SIG" python <scriptname> [options] > <outfile>

请注意，此设置还会使 stdout 与 UTF-8-SIG 一起工作，因此您的 <outfile> 将保持原始编码。

对于您的 -i 参数，只需执行 open(path, 'rt', encoding="UTF-8-SIG")

Answer 2

作为对现有答案的补充，可以使用编解码器模块从标准输入中过滤 UTF8 BOM。简单地说，您必须使用 sys.stdin.buffer 来访问底层字节流并使用 StreamReader

对其进行解码

import sys
import codecs

# trick to process sys.stdin with a custom encoding
fin = codecs.getreader('utf_8_sig')(sys.stdin.buffer, errors='replace')


if '-i' in sys.argv: # For command line option "-i <infile>"
    fin = open(sys.argv[sys.argv.index('-i') + 1], 'rt',
               encoding='utf_8_sig', errors='replace')

for line in fin:
    ...Processing here...

Answer 3

您真的不需要导入 codecs 或任何东西来处理这个问题。正如 lenz 在评论中建议的那样，只需检查 BOM 并将其丢弃。

for line in input:
    if line[0] == "\ufeff":
        line = line[1:] # trim the BOM away

    # the rest of your code goes here as usual

Answer 4

在 Python 3.9 中，标准输入的默认编码似乎是 utf-8，至少在 Linux:

In [2]: import sys
In [3]: sys.stdin
Out[3]: <_io.TextIOWrapper name='<stdin>' mode='r' encoding='utf-8'>

sys.stdin 有方法 reconfigure():

sys.stdin.reconfigure("utf-8-sig")

应该在尝试读取标准输入之前调用它。这将解码 BOM，在读取 sys.stdin.

时将不再出现

在 Python 3 中使用 sys.stdin 进行文本处理时，我应该如何处理 BOM？

How am I suppposed to handle the BOM while text processing using sys.stdin in Python 3?

python

text-processing

byte-order-mark

utf-8