在应用程序中使用 scrapy 抓取网站

Crawl website with scrapy within application

我正在开发一个使用 Scrapy 抓取网站的应用程序。我遇到了一个问题,我想在应用程序中使用 运行 scrapy crawl website 命令。因为爬虫会从浏览器运行。

有什么想法吗??

您应该从 Python 代码中调用命令。看看这里是如何做到的: Calling an external command in Python