Bs4 创建对象很慢

Question

我有问题。仅限 PYTHON2.

r = self.session.get('http://..................')
print "CREATE BS"
print datetime.now()
soup = BeautifulSoup(r.content, 'html.parser')
print "CREATE BS END"
print datetime.now()

结果是：

CREATE BS
2017-09-01 11:45:22.822256
CREATE BS END
2017-09-01 11:46:56.992892

我认为这不正常：解析需要 1.5 分钟 HTML。 1 周前，我对此源代码没有任何问题。有人知道 bs4 的问题吗？

使用 python3 一切都在 3 秒左右。

Answer 1

伙计们，我不相信，但问题出在编码上 :D 在 bs4 源代码中进行了大量调试后，我找到了解决方案。解决方案是：

soup = BeautifulSoup(r.content, 'lxml', from_encoding="utf8")

这个from_encoding="utf8"创造了所有的魔力。但这绝对是 bs4 中的错误。应该没有这个 :) 正如我所说 python3 没有问题。

Bs4 创建对象很慢

Bs4 creates the object very slow

python

web-scraping

bs4