在 import.io API 中通过 HTTP 在 Java 中获取批量提取

Getting Bulk Extraction in the import.io API via HTTP in Java

事实是,我正在使用 this link 上的信息并结合一些有关 http 发布的技巧,以便在 import.io 中获取提取器的一些数据。如果我能够通过批量提取而不是创建循环并发送数千个缓慢的请愿书来获取数据,那就更好了。

事实上,要获取任何数据,在 "GET /store/connector/{id}/_query" 中,我必须在 webpage/url:link 中使用 [= =25=]节。

我一直在想是否有任何命令可以让我进行批量提取?我确实有同样的问题关于能够在具有高级设置的爬虫中触发 HTTP 请求,但到目前为止还没有必要。

谢谢!

似乎没有通过 API 进行批量提取的方法。

批量提取通过执行您上面提到的操作(循环并发送数千个慢速请求)来工作,但在 UI 中。在您下载之前,它不会将其存储在任何地方,而是存储在您的浏览器中。

关于你的第二个问题;如果您使用的是命令行爬虫,则可以通过 HTTP 发送爬虫数据。看看