运行 带有 Anaconda 的 scrapy 蜘蛛

Running scrapy spider with Anaconda

您好,我正在努力完成教程:

https://doc.scrapy.org/en/latest/intro/tutorial.html

我已经完成了 "Our first Spider" 之前的所有步骤,但是当我尝试 运行 蜘蛛时,我收到以下错误消息 运行 "scrapy crawl quotes" :

File "//anaconda/lib/python2.7/site-packages/scrapy/spiderloader.py", line 43, in load raise KeyError("Spider not found: {}".format(spider_name)) KeyError: 'Spider not found: quotes'

所以由于某种原因,蜘蛛管理器没有找到蜘蛛。但是,当我直接导航到蜘蛛目录时,我可以毫无错误地找到蜘蛛。

Scrapy 命令行选项 "crawl" 需要 Scrapy 项目才能找到指定的蜘蛛,并开始抓取(参见文档 here,其中列出了 "Requires Project: yes") .

实际上,Scrapy 无法知道您系统上所有 Scrapy 蜘蛛的位置,选择一个,然后 运行 它。对于需要项目的选项,您必须在 Scrapy 项目的目录中,该目录将包含文件 scrapy.cfg

如果您不想使用 "crawl",您可以使用 "runspider",并指定包含蜘蛛的 Python 文件。