Python Scrapy -> 使用 scrapy spider 作为函数

Question

所以我在 spiders.py

中有以下 Scrapy Spider

import scrapy 

class TwitchSpider(scrapy.Spider):
  name = "clips"

  def start_requests(self):
      urls = [
          f'https://www.twitch.tv/wilbursoot/clips?filter=clips&range=7d'
      ]

  def parse(self, response): 
    for clip in response.css('.tw-tower'):
      yield {
        'title': clip.css('::text').get()
      }

但关键方面是我想在另一个文件中将此蜘蛛作为函数调用，而不是在控制台中使用 scrapy crawl quotes。我在哪里可以阅读更多相关信息，或者这是否可能？我查看了 Scrapy 文档，但没有找到太多

Answer 1

将您的其他文件放在与蜘蛛文件相同的目录中。然后像

一样导入蜘蛛文件

import spider

然后你就可以访问蜘蛛文件并可以制作一个蜘蛛对象。

spi = spider()

然后可以调用该对象上的函数，例如

spi.parse()

本文介绍如何导入其他 python 文件类和函数 https://csatlas.com/python-import-file-module/

Answer 2

运行来自 main.py 的蜘蛛：

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

if __name__ == "__main__":
    spider = 'TwitchSpider'
    settings = get_project_settings()
    # change/update settings:
    settings['USER_AGENT'] = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36'
    process = CrawlerProcess(settings)
    process.crawl(spider)
    process.start()

Run scrapy from a script.

Python Scrapy -> 使用 scrapy spider 作为函数

Python Scrapy -> Use a scrapy spider as a function

python

scrapy

web-scraping