无法使用 Python 个请求/urllib 模块读取 Hindi/Devanagari
Unable to read Hindi/Devanagari with Python requests / urllib modules
我正在尝试抓取此 NREGA Website，其中包含印地语数据，即梵文脚本。这种结构很容易刮掉。但是当我使用 requests/urllib 获取 html 代码时，印地语文本被转换为一些乱码。尽管该文本在网站的代码源中显示正常。
content = requests.get(URL).text
站点中的“1 पी एस”被解析为内容中的“1 \xe0\xa4\xaa\xe0\xa5\x80 \xe0\xa4\x8f\xe0\xa4\xb8”，当我尝试导出到 csv 时显示为乱码。
服务器的响应未在其 Content-Type header 中指定字符集，因此请求 assumes that the page is encoded as ISO-8859-1 (latin-1).
>>> r = requests.get('https://mnregaweb4.nic.in/netnrega/writereaddata/citizen_out/funddisreport_2701004_eng_1314_.html')
>>> r.encoding
'ISO-8859-1'
事实上，页面编码为 UTF-8，我们可以通过检查响应的 apparent_encoding 属性来判断：
>>> r.apparent_encoding
'utf-8'
或通过实验：
>>> s = '1 \xe0\xa4\xaa\xe0\xa5\x80 \xe0\xa4\x8f\xe0\xa4\xb8'
>>> s.encode('latin').decode('utf-8')
'1 पी एस'
正确的输出可以通过解码响应的content属性获得：
>>> html = r.content.decode(r.apparent_encoding)
我正在尝试抓取此 NREGA Website，其中包含印地语数据，即梵文脚本。这种结构很容易刮掉。但是当我使用 requests/urllib 获取 html 代码时，印地语文本被转换为一些乱码。尽管该文本在网站的代码源中显示正常。
content = requests.get(URL).text
站点中的“1 पी एस”被解析为内容中的“1 \xe0\xa4\xaa\xe0\xa5\x80 \xe0\xa4\x8f\xe0\xa4\xb8”，当我尝试导出到 csv 时显示为乱码。
服务器的响应未在其 Content-Type header 中指定字符集，因此请求 assumes that the page is encoded as ISO-8859-1 (latin-1).
>>> r = requests.get('https://mnregaweb4.nic.in/netnrega/writereaddata/citizen_out/funddisreport_2701004_eng_1314_.html')
>>> r.encoding
'ISO-8859-1'
事实上，页面编码为 UTF-8，我们可以通过检查响应的 apparent_encoding 属性来判断：
>>> r.apparent_encoding
'utf-8'
或通过实验：
>>> s = '1 \xe0\xa4\xaa\xe0\xa5\x80 \xe0\xa4\x8f\xe0\xa4\xb8'
>>> s.encode('latin').decode('utf-8')
'1 पी एस'
正确的输出可以通过解码响应的content属性获得：
>>> html = r.content.decode(r.apparent_encoding)