为什么 Python 不从 Latin Extended-A 写入字符(写入文件时出现 UnicodeEncodeError)?

Why isn't Python writing characters from Latin Extended-A (UnicodeEncodeError when writing to a file)?

强制性介绍,指出我已经做了一些研究

这看起来应该很简单(如果找到合适的目标问题,我很乐意将其作为重复项关闭),但我对字符编码以及 Python 如何处理它们还不够熟悉我自己弄明白了。冒着看起来很懒惰的风险,我会很好地注意到答案可能在下面的链接之一中,但我还没有在阅读中看到它。

我参考了一些文档:Unicode HOWTO, codecs.py docs

我还查看了一些旧的投票率很高的 SO 问题:Writing Unicode text to a text file?, Python, Unicode, and the Windows console


问题

这里有一个 MCVE 代码示例来演示我的问题:

with open('foo.txt', 'wt') as outfile:
    outfile.write('\u014d')

回溯如下:

Traceback (most recent call last):
  File "<stdin>", line 2, in <module>
  File "C:\Users\cashamerica\AppData\Local\Programs\Python\Python3\lib\encodings\cp1252.py", line 19, in encode
    return codecs.charmap_encode(input,self.errors,encoding_table)[0]
UnicodeEncodeError: 'charmap' codec can't encode character '\u014d' in position 0: character maps to <undefined>

我很困惑,因为代码点 U+014D 是 'ō',一个分配的代码点,LATIN SMALL LETTER O WITH MACRON (official Unicode source)

我什至可以将字符打印到 Windows 控制台(但它呈现为正常 'o'):

>>> print('\u014d')
o

您正在使用 cp1252 作为默认编码,其中不包括 ō

使用显式编码写入(和读取)您的文件:

with open('foo.txt', 'wt', encoding='utf8') as outfile:
    outfile.write('\u014d')