我如何解码这个表示为 unicode 的字符串?
How can I decode this string which is represented as unicode?
尝试通过可读性解析网页时我得到 s
(Python 2.7 on Windows 10,Sublime Text 2/cmd)
>>> import requests
>>> from readability import Document
>>>
>>> response = requests.get('http://www.gamersky.com/news/201806/1064930.shtml')
>>> doc = Document(response.text.encode("utf-8"))
>>> print doc.title()
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'gbk' codec can't encode character u'\xe3' in position 0: illegal multibyte sequence
>>> print doc.title().encode("utf-8")
lots of messy codes
>>> print doc.title().encode("utf-16")
lots of messy codes
>>> print doc.title().encode("gbk")
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'gbk' codec can't encode character u'\xe3' in position 0: illegal multibyte sequence
我发现我永远无法打印出 doc.title()
,所以我通过 运行ning
查看了 doc.title()
s = repr(doc.title())
print type(doc.title())
print s
结果很奇怪
<type 'unicode'>
u'\xe3\x80\x8a\xe5\xa5\x87\xe5\xbc\x82\xe4\xba\xba\xe7\x94\x9f\xe3\x80\x8b\xe5\x9b\xa2\xe9\x98\x9f\xe6\x96\xb0\xe4\xbd\x9c\xe3\x80\x8a\xe8\xb6 \xe8\x83\xbd\xe9\x98\x9f\xe9\x95\xbf\xe3\x80\x8b\xe5 \x8d\xe8\xb4\xb9\xe4\xb8\x8b\xe8\xbd\xbd \xe5\xb0\x8f\xe7\x94\xb7\xe5\xad\xa9\xe7\x9a\x84\xe8\x8b\xb1\xe9\x9b\x84\xe6\xa2\xa6\xe6\x83\xb3 _ \xe6\xb8\xb8\xe6\xb0\x91\xe6\x98\x9f\xe7\xa9\xba GamerSky.com'
似乎s
实际上是用多字节编码的,因为当我运行
print '\xe3\x80...'
并打印
《奇异人生》团队新作《? 能队长》? ?费下载 小男孩的英雄梦想 _ 游民星空 GamerSky.com
准确的标题是
《奇异人生》团队新作《超能队长》免费下载 小男孩的英雄梦想 _ 游民星空 GamerSky.com
虽然仍然缺少一些字符,但结果使我相信 \xe3
不应表示为 unicode 形式。
经过一番搜索,我发现以下代码有帮助,但仍然缺少一些字符。
>>> print s.encode("raw_unicode_escape")
《奇异人生》团队新作《? 能队长》? ?费下载 小男孩的英雄梦想 _ 游民星空 GamerSky.com
我的问题是:
为什么会出现这个问题? encode("raw_unicode_escape")
解决方案是否简洁?
当我 运行 以下代码时,它有效
>>> import requests
>>> from readability import Document
>>>
>>> response = requests.get('https://zh.wikipedia.org/wiki/Wikipedia:%E9%A6%96%E9%A1%B5')
>>> doc = Document(response.text.encode("utf-8"))
>>> print doc.title()
维基百科,自由的百科全书
如何处理缺失的字符?
尝试使用 response.content
例如:
>>> import requests
>>> from readability import Document
>>>
>>> response = requests.get('http://www.gamersky.com/news/201806/1064930.shtml')
>>> doc = Document(response.content)
>>> print doc.title()
问题是当你使用response.text
时,它会在将response.content
解码为unicode时猜测编码是什么。在这种情况下,它的猜测是不正确的。您必须根据 documentation.
将 response.encoding
设置为 'utf-8'
来强制编码
import requests
from readability import Document
response = requests.get('http://www.gamersky.com/news/201806/1064930.shtml')
response.encoding = 'utf-8'
doc = Document(response.text)
print doc.title()
这会打印:
《奇异人生》团队新作《超能队长》免费下载 小男孩的英雄梦想 _ 游民星空 GamerSky.com
尝试通过可读性解析网页时我得到 s
(Python 2.7 on Windows 10,Sublime Text 2/cmd)
>>> import requests
>>> from readability import Document
>>>
>>> response = requests.get('http://www.gamersky.com/news/201806/1064930.shtml')
>>> doc = Document(response.text.encode("utf-8"))
>>> print doc.title()
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'gbk' codec can't encode character u'\xe3' in position 0: illegal multibyte sequence
>>> print doc.title().encode("utf-8")
lots of messy codes
>>> print doc.title().encode("utf-16")
lots of messy codes
>>> print doc.title().encode("gbk")
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'gbk' codec can't encode character u'\xe3' in position 0: illegal multibyte sequence
我发现我永远无法打印出 doc.title()
,所以我通过 运行ning
doc.title()
s = repr(doc.title())
print type(doc.title())
print s
结果很奇怪
<type 'unicode'>
u'\xe3\x80\x8a\xe5\xa5\x87\xe5\xbc\x82\xe4\xba\xba\xe7\x94\x9f\xe3\x80\x8b\xe5\x9b\xa2\xe9\x98\x9f\xe6\x96\xb0\xe4\xbd\x9c\xe3\x80\x8a\xe8\xb6 \xe8\x83\xbd\xe9\x98\x9f\xe9\x95\xbf\xe3\x80\x8b\xe5 \x8d\xe8\xb4\xb9\xe4\xb8\x8b\xe8\xbd\xbd \xe5\xb0\x8f\xe7\x94\xb7\xe5\xad\xa9\xe7\x9a\x84\xe8\x8b\xb1\xe9\x9b\x84\xe6\xa2\xa6\xe6\x83\xb3 _ \xe6\xb8\xb8\xe6\xb0\x91\xe6\x98\x9f\xe7\xa9\xba GamerSky.com'
似乎s
实际上是用多字节编码的,因为当我运行
print '\xe3\x80...'
并打印
《奇异人生》团队新作《? 能队长》? ?费下载 小男孩的英雄梦想 _ 游民星空 GamerSky.com
准确的标题是
《奇异人生》团队新作《超能队长》免费下载 小男孩的英雄梦想 _ 游民星空 GamerSky.com
虽然仍然缺少一些字符,但结果使我相信 \xe3
不应表示为 unicode 形式。
经过一番搜索,我发现以下代码有帮助,但仍然缺少一些字符。
>>> print s.encode("raw_unicode_escape")
《奇异人生》团队新作《? 能队长》? ?费下载 小男孩的英雄梦想 _ 游民星空 GamerSky.com
我的问题是:
为什么会出现这个问题?
encode("raw_unicode_escape")
解决方案是否简洁? 当我 运行 以下代码时,它有效>>> import requests >>> from readability import Document >>> >>> response = requests.get('https://zh.wikipedia.org/wiki/Wikipedia:%E9%A6%96%E9%A1%B5') >>> doc = Document(response.text.encode("utf-8")) >>> print doc.title() 维基百科,自由的百科全书
如何处理缺失的字符?
尝试使用 response.content
例如:
>>> import requests
>>> from readability import Document
>>>
>>> response = requests.get('http://www.gamersky.com/news/201806/1064930.shtml')
>>> doc = Document(response.content)
>>> print doc.title()
问题是当你使用response.text
时,它会在将response.content
解码为unicode时猜测编码是什么。在这种情况下,它的猜测是不正确的。您必须根据 documentation.
response.encoding
设置为 'utf-8'
来强制编码
import requests
from readability import Document
response = requests.get('http://www.gamersky.com/news/201806/1064930.shtml')
response.encoding = 'utf-8'
doc = Document(response.text)
print doc.title()
这会打印:
《奇异人生》团队新作《超能队长》免费下载 小男孩的英雄梦想 _ 游民星空 GamerSky.com