Scrapy如何分多次写入CSV文件
How Scrapy write CSV files in several times
我正在使用 python 2.7.9 的 scrapy，我的蜘蛛可以正常抓取数据。
但是我发现数据太大了，所以我想在一个蜘蛛中分几次爬取数据，然后写入不同的CSV文件。
例如：一共，我有"One hundred and ten thousand "个网页，我想让蜘蛛分别抓取“3万”、“3万”、“3万”、“2万”
我该怎么办？我只能在 "spider" 内完成吗？或者也许在 "pipelines" ?
请有人帮助我。
我的代码link:https://drive.google.com/open?id=0B6SUWnrBmDwSWmY1em1vbktyOWc&authuser=0
一种简单的方法是将 from 和 to 作为 spider arguments
发送
scrapy crawl myspider -a from=30001 -a to=60000
我正在使用 python 2.7.9 的 scrapy，我的蜘蛛可以正常抓取数据。
但是我发现数据太大了，所以我想在一个蜘蛛中分几次爬取数据，然后写入不同的CSV文件。
例如：一共，我有"One hundred and ten thousand "个网页，我想让蜘蛛分别抓取“3万”、“3万”、“3万”、“2万”
我该怎么办？我只能在 "spider" 内完成吗？或者也许在 "pipelines" ?
请有人帮助我。
我的代码link:https://drive.google.com/open?id=0B6SUWnrBmDwSWmY1em1vbktyOWc&authuser=0
一种简单的方法是将 from 和 to 作为 spider arguments
scrapy crawl myspider -a from=30001 -a to=60000