我如何解码这个表示为 unicode 的字符串?

How can I decode this string which is represented as unicode?

尝试通过可读性解析网页时我得到 s(Python 2.7 on Windows 10,Sublime Text 2/cmd)

>>> import requests
>>> from readability import Document
>>>
>>> response = requests.get('http://www.gamersky.com/news/201806/1064930.shtml')
>>> doc = Document(response.text.encode("utf-8"))
>>> print doc.title()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'gbk' codec can't encode character u'\xe3' in position 0: illegal multibyte sequence
>>> print doc.title().encode("utf-8")
lots of messy codes
>>> print doc.title().encode("utf-16")
lots of messy codes
>>> print doc.title().encode("gbk")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'gbk' codec can't encode character u'\xe3' in position 0: illegal multibyte sequence

我发现我永远无法打印出 doc.title(),所以我通过 运行ning

查看了 doc.title()
s = repr(doc.title())
print type(doc.title())
print s

结果很奇怪

<type 'unicode'>
u'\xe3\x80\x8a\xe5\xa5\x87\xe5\xbc\x82\xe4\xba\xba\xe7\x94\x9f\xe3\x80\x8b\xe5\x9b\xa2\xe9\x98\x9f\xe6\x96\xb0\xe4\xbd\x9c\xe3\x80\x8a\xe8\xb6 \xe8\x83\xbd\xe9\x98\x9f\xe9\x95\xbf\xe3\x80\x8b\xe5 \x8d\xe8\xb4\xb9\xe4\xb8\x8b\xe8\xbd\xbd \xe5\xb0\x8f\xe7\x94\xb7\xe5\xad\xa9\xe7\x9a\x84\xe8\x8b\xb1\xe9\x9b\x84\xe6\xa2\xa6\xe6\x83\xb3 _ \xe6\xb8\xb8\xe6\xb0\x91\xe6\x98\x9f\xe7\xa9\xba GamerSky.com'

似乎s实际上是用多字节编码的,因为当我运行

 print '\xe3\x80...'

并打印

《奇异人生》团队新作《? 能队长》? ?费下载 小男孩的英雄梦想 _ 游民星空 GamerSky.com

准确的标题是

《奇异人生》团队新作《超能队长》免费下载 小男孩的英雄梦想 _ 游民星空 GamerSky.com

虽然仍然缺少一些字符,但结果使我相信 \xe3 不应表示为 unicode 形式。 经过一番搜索,我发现以下代码有帮助,但仍然缺少一些字符。

>>> print s.encode("raw_unicode_escape")
《奇异人生》团队新作《? 能队长》? ?费下载 小男孩的英雄梦想 _ 游民星空 GamerSky.com

我的问题是:

  1. 为什么会出现这个问题? encode("raw_unicode_escape") 解决方案是否简洁? 当我 运行 以下代码时,它有效

    >>> import requests
    >>> from readability import Document
    >>>
    >>> response = requests.get('https://zh.wikipedia.org/wiki/Wikipedia:%E9%A6%96%E9%A1%B5')
    >>> doc = Document(response.text.encode("utf-8"))
    >>> print doc.title()
    维基百科,自由的百科全书
    
  2. 如何处理缺失的字符?

尝试使用 response.content

例如:

>>> import requests
>>> from readability import Document
>>>
>>> response = requests.get('http://www.gamersky.com/news/201806/1064930.shtml')
>>> doc = Document(response.content)
>>> print doc.title()

问题是当你使用response.text时,它会在将response.content解码为unicode时猜测编码是什么。在这种情况下,它的猜测是不正确的。您必须根据 documentation.

response.encoding 设置为 'utf-8' 来强制编码
import requests
from readability import Document
response = requests.get('http://www.gamersky.com/news/201806/1064930.shtml')
response.encoding = 'utf-8'
doc = Document(response.text)
print doc.title()

这会打印:

《奇异人生》团队新作《超能队长》免费下载 小男孩的英雄梦想 _ 游民星空 GamerSky.com