如何使用 import.io 提取登录页面后面的数据

How can I extract data behind a login page using import.io

我需要抓取位于登录页面后面的一些数据。为了能够废弃它,我需要一个能够登录然后抓取它后面的页面的工具。 import.io后面可以做吗?

简短版:是的。

更长的版本: 至少有两种方法,都需要您注册并下载桌面应用程序(全部免费)

提取器版本(更简单): 将浏览器指向登录所在的页面。正常登录,然后训练你的 API 来提取你需要的数据。使用此方法的缺点是它只有在您登录后才能工作。如果您希望 import.io 为您登录,您需要..

认证版本: 如上,但创建一个经过身份验证的 API。这将记录登录过程并在您每次执行 API

时为您执行

因为选择的答案不再有效 :( 我推荐 Cloudscrape。如果您注册,您将获得 20 小时爬行 and/or 抓取的免费试用。对于背后的数据登录你需要一个刮板。

实用教程

Tutorial for logging in with scraper.

Tutorial for pagination.