我可以使用哪些 Python 工具来编写受密码保护的网页的抓取工具?

What Python tools can I use to write a scraper of a password-protected webpage?

假设有一个受密码保护的网站,我想访问它以从中抓取一些信息并将其放入电子表格中。例如,它可能是我的个人信用卡帐户页面,我会抓取有关最新交易的信息。

如果该站点允许将交易信息下载为 CSV 文件,那么这种情况会有所不同,在这种情况下,我会想要下载该文件。

如果我想在Python中编写这样的爬虫,我应该使用什么包来完成任务?这是否取决于特定网站的实施方式,即我可能需要一种工具来抓取一个网站,而另一种工具来抓取另一个网站。

谢谢

我实际上做了一些与此非常相似的事情,但是在 node.js 中。您确定要在 Python 中执行此操作吗?

如果你想坚持Python,看看这些模块:

BeautifulSoup

requests

有人结合以上两个模块写了一个非常棒的模块:

Robobrowser

如果你想沿着节点路线冒险,看看这个:

nightmarejs