从需要启用 cookie 的网站上用 Python 抓取 HTML 的最佳软件包

Question

我目前正在使用 Python 3.6 来抓取 URL 文件并搜索特定字符串。在运行脚本之后，返回的 HTML 表明需要启用 cookie。 python 3.x 的任何版本都不支持 Mechanize 和我发现的所有其他库。有人可以指出可以启用 cookie 的库的正确方向，以便呈现正确的 HTML 吗？

Answer 1

您可以使用很棒的 requests 包检索和发送 cookie。

正在发送 cookies：

cookies = {
    cookies_are:'working'
    }

requests.get(url, cookies=cookies)

正在检索 cookie：

r = requests.get(url)
r.cookies #return a dictionary

更多信息请查看 requests documentation。希望对您有所帮助！

从需要启用 cookie 的网站上用 Python 抓取 HTML 的最佳软件包

Best package for scraping HTML with Python from site that needs cookies enabled

python

urllib2

web-crawler

web