如何使用 Import.io 进行查询自动化

How to proceed with query automation using Import.io

我已经使用 Import.io 中的提取器工具成功创建了一个查询。它完全按照我的意愿行事,但我现在需要 运行 一天一次或两次。 Import.io 作为 API 的目的是允许我使用自己的应用程序构建逻辑,例如数据存储和计划任务(运行 每天查询多次)还是有办法计划查询并完全在 Import.io 服务中使用我的结果的长期存储?

我很乐意创建一个 Laravel 或 Rails 应用程序来向 API 发出请求并将信息存储在其他地方,但如果我这样做是在重新发明轮子他们提供了解决这个问题的方法,那是真正的节省时间。

感谢您使用新论坛!是的,我们已将其移至 Stack Overflow 以最大化社区氛围。

目前,Import 无法安排抓取。然而,这是我们将在不久的将来推出的东西。

目前,可以在指定时将 Cron 作业设置为 运行。

如果您使用的是免费版本,另一种解决方案是使用 CI 工具,如 travis 或 jenkins 来安排您的 API 脚本。 您可以实时查询提取器,这样您就不需要每次都手动制作它们 运行。这将从您的限制中消耗您的请求之一。

您可以使用的端点是:

https://extraction.import.io/query/extractor/extractor_id?_apikey=apikey&url=url

不幸的是,脚本不会很简单,因为大多数网站对 import.io 的响应结构非常不同,而且您可能已经知道,该工具的高级版本现在提供了调度功能。