Scrapy：非阻塞暂停

Question

我有问题。我需要暂时停止一个函数的执行，而不是停止整个解析的执行。也就是说，我需要一个非阻塞暂停。

看起来像：

class ScrapySpider(Spider):
    name = 'live_function'

    def start_requests(self):
        yield Request('some url', callback=self.non_stop_function)

    def non_stop_function(self, response):
        for url in ['url1', 'url2', 'url3', 'more urls']:
            yield Request(url, callback=self.second_parse_function)

        # Here I need some function for sleep only this function like time.sleep(10)

        yield Request('some url', callback=self.non_stop_function)  # Call itself

    def second_parse_function(self, response):
        pass

函数 non_stop_function 需要停止一段时间，但不应阻塞其余的输出。

如果我插入 time.sleep() - 它将停止整个解析器，但我不需要它。是否可以使用 twisted 或其他方式停止一个功能？

原因：我需要创建一个非阻塞函数，每n秒解析一次网站页面。她将在那里获得 URL 并填写 10 秒。已获取的网址将继续工作，但主要功能需要休眠。

更新：

感谢 TkTech 和 viach .一个答案帮助我理解了如何制作待定 Request，第二个是如何激活它。这两个答案相辅相成，我为 Scrapy 做了一个很好的非阻塞暂停：

def call_after_pause(self, response):
    d = Deferred()
    reactor.callLater(10.0, d.callback, Request(
        'https://example.com/',
        callback=self.non_stop_function,
        dont_filter=True))
    return d

并根据我的要求使用此功能：

yield Request('https://example.com/', callback=self.call_after_pause, dont_filter=True)

Answer 1

如果您尝试使用它来限制速率，您可能只想使用 DOWNLOAD_DELAY。

Scrapy 只是 Twisted 之上的一个框架。在大多数情况下，您可以像对待任何其他扭曲的应用程序一样对待它。不用调用 sleep，只需 return 发出下一个请求并告诉 twisted 稍等一下。例如：

from twisted.internet import reactor, defer

def non_stop_function(self, response)
    d = defer.Deferred()
    reactor.callLater(10.0, d.callback, Request(
        'some url',
        callback=self.non_stop_function
    ))
    return d

Answer 2

Request 对象有 callback 参数，请尝试使用那个参数。我的意思是，创建一个 Deferred 包装 self.second_parse_function 和 pause.

这是我未经测试的肮脏示例，已标记更改的行。

class ScrapySpider(Spider):
    name = 'live_function'

    def start_requests(self):
        yield Request('some url', callback=self.non_stop_function)

    def non_stop_function(self, response):

        parse_and_pause = Deferred()  # changed
        parse_and_pause.addCallback(self.second_parse_function) # changed
        parse_and_pause.addCallback(pause, seconds=10)  # changed

        for url in ['url1', 'url2', 'url3', 'more urls']:
            yield Request(url, callback=parse_and_pause)  # changed

        yield Request('some url', callback=self.non_stop_function)  # Call itself

    def second_parse_function(self, response):
        pass

如果该方法适合您，那么您可以创建一个函数，根据规则构造一个 Deferred 对象。可以像下面这样实现：

def get_perform_and_pause_deferred(seconds, fn, *args, **kwargs):
    d = Deferred()
    d.addCallback(fn, *args, **kwargs)
    d.addCallback(pause, seconds=seconds)
    return d

这里是可能的用法：

class ScrapySpider(Spider):
    name = 'live_function'

    def start_requests(self):
        yield Request('some url', callback=self.non_stop_function)

    def non_stop_function(self, response):
        for url in ['url1', 'url2', 'url3', 'more urls']:
            # changed
            yield Request(url, callback=get_perform_and_pause_deferred(10, self.second_parse_function))

        yield Request('some url', callback=self.non_stop_function)  # Call itself

    def second_parse_function(self, response):
        pass

Answer 3

提问者已经在问题的更新中提供了答案，但我想提供一个稍微好一点的版本，以便它可以重复用于任何请求。

# removed...
from twisted.internet import reactor, defer

class MySpider(scrapy.Spider):
    # removed...

    def request_with_pause(self, response):
        d = defer.Deferred()
        reactor.callLater(response.meta['time'], d.callback, scrapy.Request(
            response.url,
            callback=response.meta['callback'],
            dont_filter=True, meta={'dont_proxy':response.meta['dont_proxy']}))
        return d

    def parse(self, response):
        # removed....
        yield scrapy.Request(the_url, meta={
                            'time': 86400, 
                            'callback': self.the_parse, 
                            'dont_proxy': True
                            }, callback=self.request_with_pause)

说明一下，Scrapy使用Twisted来异步管理请求，所以我们也需要Twisted的工具来做延迟请求。

Scrapy：非阻塞暂停

Scrapy: non-blocking pause

python

scrapy

scrapy-spider