Python3 编码问题

Question

我正在学习 python3 的爬行。我只想从 html 代码中提取文本。

ex) 在 html

<div class='titleArea'>
    "~~~~~ text~~~~"
</div>

所以，我写了这段代码来提取文本

    title_temp = soup.findAll('div',class_='titleArea')
    print(title_temp)

** 我知道 print(title_temp[0].text) 但没关系

结果是

这张图片的内容是

[<div class='titleArea'>
        @#$!$^!@#!@^#!$^!@#!@#!@# 
</div>]
[<div class='titleArea'>
        @#$!$^!@#!@^#!$^!@#!@#!@# 
</div>]

***有两个List重复的原因

我不想要那个文本。

我该怎么办？

我认为是utf-8的问题。

对吧？

所以，

我写的

# -*- coding: utf-8 -*-

但是，没有效果。

Answer 1

import requests, bs4

r = requests.get('http://hri.co.kr/board/reportView.asp?firstDepth=1&secondDepth=1&numIdx=26865')
r.encoding='euc-kr'
soup = bs4.BeautifulSoup(r.text, 'lxml')
soup.find_all('div',class_='titleArea')

输出：

[<div class="titleArea">
                                트럼프노믹스가 중국 경제에 미치는 영향
                             </div>]

chartset 在 html head 标签中：

编辑：更优雅的方式：

import requests, bs4

r = requests.get('http://hri.co.kr/board/reportView.asp?firstDepth=1&secondDepth=1&numIdx=26865')
r.encoding = r.apparent_encoding

这将自动设置编码。

Python3 编码问题

Python3 encoding issues

python

web-crawler

utf

python-3.x