如何阻止 Apify 保存已处理的请求?
How to stop Apify from saving handled requests?
Apify 似乎将已处理的请求保存在 'handled' 目录中。我想停止这个,因为 apify 不会抓取我之前抓取过的页面。有人知道如何阻止 Apify 保存已处理的请求吗?
我假设您使用的是 Apify CLI。只需以 apify run -p
开始 运行。 -p
表示它清除旧的请求队列。
您可以通过使用不同的 uniqueKey so that it is not automatically filtered out by request queue after already having been processed once. Local files only simulate the behavior of RequestQueue 多次将请求放入队列来解决此问题,这与它在 Apify 平台上的行为完全相同。
Apify 似乎将已处理的请求保存在 'handled' 目录中。我想停止这个,因为 apify 不会抓取我之前抓取过的页面。有人知道如何阻止 Apify 保存已处理的请求吗?
我假设您使用的是 Apify CLI。只需以 apify run -p
开始 运行。 -p
表示它清除旧的请求队列。
您可以通过使用不同的 uniqueKey so that it is not automatically filtered out by request queue after already having been processed once. Local files only simulate the behavior of RequestQueue 多次将请求放入队列来解决此问题,这与它在 Apify 平台上的行为完全相同。