在 Python 中解码西里尔字母 - 字符映射到 <undefined>

Question

我收到服务器响应，字节数：

\xd0\xa0\xd1\x83\xd0\xb1\xd0\xbb\xd0\xb8 \xd0\xa0\xd0\xa4 \xd0\x9a\xd0\xa6\xd0\x91

这肯定是西里尔文，但我不确定是哪种编码。在 Python 中每次解码都失败：

b = b'\xd0\xa0\xd1\x83\xd0\xb1\xd0\xbb\xd0\xb8 \xd0\xa0\xd0\xa4 \xd0\x9a\xd0\xa6\xd0\x91'
>>> b.decode('utf-8')
'\u0420\u0443\u0431\u043b\u0438 \u0420\u0424 \u041a\u0426\u0411'
>>> print(b.decode('utf-8'))
UnicodeEncodeError: 'charmap' codec can't encode characters in position 0-4:
character maps to <undefined>

>>> b.decode('cp1251')
'\u0420\xa0\u0421\u0453\u0420±\u0420»\u0420\u0451 \u0420\xa0\u0420¤
\u0420\u0459\u0420¦\u0420\u2018'
>>> print(b.decode('cp1251'))
UnicodeEncodeError: 'charmap' codec can't encode character '\u0420' in
position 0: character maps to <undefined>

这两个结果有点像 Unicode-escape，但这也不起作用：

>>> codecs.decode('\u0420\u0443\u0431\u043b\u0438 \u0420\u0424 \u041a\u0426\u0411',
'unicode-escape')
'Ð\xa0Ñ\x83Ð±Ð»Ð¸ Ð\xa0Ð¤ Ð\x9aÐ¦Ð\x91'

有一个 web service 用于恢复西里尔文本，它能够使用 Windows-1251:

解码我的字节

Output (source encoding : WINDOWS-1251)

Рубли РФ КЦБ

但我对如何处理它没有更多的想法。

我想我遗漏了一些关于编码如何工作的东西，所以如果这个问题对你来说似乎微不足道，我将不胜感激 explanation/a link 教程/一些关键字进一步谷歌搜索。

解法：

Windows PowerShell 默认使用 Windows-850 代码页，无法处理某些西里尔字符。一种解决方法是每次启动 shell:

时将代码页更改为 Unicode

chcp 65001

Here 解释了如何使其成为新的默认值

Answer 1

试试这个。

 In [1]: s = "\xd0\xa0\xd1\x83\xd0\xb1\xd0\xbb\xd0\xb8 \xd0\xa0\xd0\xa4 \xd0\x9a\xd0\xa6\xd0\x91"

 In [11]: print s.decode('utf-8')
    Рубли РФ КЦБ

要正确打印或显示某些字符串，需要对其进行解码（Unicode 字符串）。

标准中有大量示例信息Python library

Python 3:

>>> import sys
>>> print (sys.version)
3.4.0 (default, Jun 19 2015, 14:20:21) 
[GCC 4.8.2]
>>> b = b'\xd0\xa0\xd1\x83\xd0\xb1\xd0\xbb\xd0\xb8 \xd0\xa0\xd0\xa4 \xd0\x9a\xd0\xa6\xd0\x91'
>>> b.decode('utf-8')
'Рубли РФ КЦБ'

Answer 2

This is for sure Cyrillic, but I'm not sure which encoding.

这是 UTF-8 (100%)。

Python 3.4.3 (default, Mar 25 2015, 17:13:50) 
Type "copyright", "credits" or "license" for more information.

IPython 4.0.0 -- An enhanced Interactive Python.
?         -> Introduction and overview of IPython's features.
%quickref -> Quick reference.
help      -> Python's own help system.
object?   -> Details about 'object', use 'object??' for extra details.

In [1]: b = b'\xd0\xa0\xd1\x83\xd0\xb1\xd0\xbb\xd0\xb8 \xd0\xa0\xd0\xa4 \xd0\x9a\xd0\xa6\xd0\x91'

In [2]: s = b.decode('utf-8')

In [3]: print(s)
Рубли РФ КЦБ

对我来说很好用。可能是您的终端或 repl 有问题？

在 Python 中解码西里尔字母 - 字符映射到 <undefined>

Decoding Cyrillic in Python - character maps to <undefined>

python

unicode

encoding

cp1251

cyrillic