将 mechanize 与隐藏的登录页面一起使用

Using mechanize with a hidden log-in page

我想写一个抓取工具来从 database of police reports 中提取 pdf，但我 运行 遇到了麻烦。当我单击页面的 "Log In" 按钮时，它不会弹出单独的 URL，它只是异步加载登录页面。我不确定它是如何做到这一点的 - 我在控制台中查看了“网络”选项卡，但该页面似乎没有发出任何 XHR 请求。

我打算在 Python 中编写我的抓取工具，所以我想使用 mechanize 库登录并抓取 pdf。但在我做任何这些之前，我必须找到那个讨厌的登录页面！

如果网页正在执行大量 Ajax 类型的 activity，那么您真的不能只使用 HTML 解析器 - 您还需要一个 Javascript 口译员.

你可能会被迫使用类似 Selenium or PhantomJS 的东西。