如何阻止 Apify 保存已处理的请求?

How to stop Apify from saving handled requests?

Apify 似乎将已处理的请求保存在 'handled' 目录中。我想停止这个,因为 apify 不会抓取我之前抓取过的页面。有人知道如何阻止 Apify 保存已处理的请求吗?

我假设您使用的是 Apify CLI。只需以 apify run -p 开始 运行。 -p 表示它清除旧的请求队列。

您可以通过使用不同的 uniqueKey so that it is not automatically filtered out by request queue after already having been processed once. Local files only simulate the behavior of RequestQueue 多次将请求放入队列来解决此问题,这与它在 Apify 平台上的行为完全相同。