如何在 scrapy/zyte 中将新的蜘蛛参数添加到您自己的模板中

Question

我正在开发付费代理蜘蛛模板，希望能够在命令行为 scrapy 爬虫传递新参数。有人可以告诉我该怎么做吗？谢谢

Answer 1

这可以通过在您的蜘蛛 __init__-Method:

中使用 kwargs 来实现

import scrapy


class YourSpider(scrapy.Spider):
    name = your_spider

    def __init__(self, *args, **kwargs):
        super(YourSpider, self).__init__(*args, **kwargs)
        self.your_arg = kwargs.get("your_cmd_arg", 42)

现在可以按如下方式调用蜘蛛：
scrapy crawl your_spider -a your_cmd_arg=foo

有关该主题的更多信息，请随时查看 Scrapy 文档中的 this page。