使用 scrapy 按 FIFO 顺序抓取请求
crawl requestes in FIFO order with scrapy
我希望 scrapy 以 FIFO 顺序处理爬行，例如我在该循环中有一个循环，每个元素处理 3 个 DEPTH 节点，第二个元素在完成第一个元素后启动 3 个 DEPTH 调用。
我要解决这个问题的方法是将发出请求所需的所有数据放在 meta 中，并有一个可以处理 2 种情况的解析函数。
第一种情况将处理“3 层深度和逻辑”以及与之相关的事情，第二种情况将解析主页。
完成后，只需 return 请求再次调用相同的函数。
总体思路是将所有 "next step" 信息放在元数据中，然后根据该信息采取行动以区分案例。
我希望 scrapy 以 FIFO 顺序处理爬行，例如我在该循环中有一个循环，每个元素处理 3 个 DEPTH 节点，第二个元素在完成第一个元素后启动 3 个 DEPTH 调用。
我要解决这个问题的方法是将发出请求所需的所有数据放在 meta 中，并有一个可以处理 2 种情况的解析函数。
第一种情况将处理“3 层深度和逻辑”以及与之相关的事情，第二种情况将解析主页。
完成后，只需 return 请求再次调用相同的函数。
总体思路是将所有 "next step" 信息放在元数据中，然后根据该信息采取行动以区分案例。