使用scrapy导出多种格式的抓取数据
Export scraping data in multiple formats using scrapy
我正在抓取网站以将数据导出为语义格式 (n3)。
不过,我也想对该数据进行一些数据分析,所以用csv格式比较方便。
要获取两种格式的数据,我可以做到
scrapy spider -t n3 -o data.n3
scrapy spider -t csv -o data.csv
但是,这两次抓取数据,数据量大,我负担不起。
有没有办法将相同的抓取数据导出为多种格式?(无需多次下载数据)
我发现有一个可以导出为不同格式的抓取数据的中间表示很有趣。但是好像没有办法用scrapy做到这一点。
根据我在浏览源代码和文档后的理解,-t
option refers to the FEED_FORMAT
setting which cannot have multiple values. Also, the FeedExporter
built-in extension (source) 仅适用于单个导出器。
实际上,考虑在 Scrapy Issue Tracker 提出 功能请求 。
更像是一种解决方法,定义一个管道并开始使用多个导出器进行导出。例如,这里是如何导出为 CSV 和 JSON 格式:
from collections import defaultdict
from scrapy import signals
from scrapy.exporters import JsonItemExporter, CsvItemExporter
class MyExportPipeline(object):
def __init__(self):
self.files = defaultdict(list)
@classmethod
def from_crawler(cls, crawler):
pipeline = cls()
crawler.signals.connect(pipeline.spider_opened, signals.spider_opened)
crawler.signals.connect(pipeline.spider_closed, signals.spider_closed)
return pipeline
def spider_opened(self, spider):
csv_file = open('%s_products.csv' % spider.name, 'w+b')
json_file = open('%s_products.json' % spider.name, 'w+b')
self.files[spider].append(csv_file)
self.files[spider].append(json_file)
self.exporters = [
JsonItemExporter(json_file),
CsvItemExporter(csv_file)
]
for exporter in self.exporters:
exporter.start_exporting()
def spider_closed(self, spider):
for exporter in self.exporters:
exporter.finish_exporting()
files = self.files.pop(spider)
for file in files:
file.close()
def process_item(self, item, spider):
for exporter in self.exporters:
exporter.export_item(item)
return item
我正在抓取网站以将数据导出为语义格式 (n3)。 不过,我也想对该数据进行一些数据分析,所以用csv格式比较方便。
要获取两种格式的数据,我可以做到
scrapy spider -t n3 -o data.n3
scrapy spider -t csv -o data.csv
但是,这两次抓取数据,数据量大,我负担不起。
有没有办法将相同的抓取数据导出为多种格式?(无需多次下载数据)
我发现有一个可以导出为不同格式的抓取数据的中间表示很有趣。但是好像没有办法用scrapy做到这一点。
根据我在浏览源代码和文档后的理解,-t
option refers to the FEED_FORMAT
setting which cannot have multiple values. Also, the FeedExporter
built-in extension (source) 仅适用于单个导出器。
实际上,考虑在 Scrapy Issue Tracker 提出 功能请求 。
更像是一种解决方法,定义一个管道并开始使用多个导出器进行导出。例如,这里是如何导出为 CSV 和 JSON 格式:
from collections import defaultdict
from scrapy import signals
from scrapy.exporters import JsonItemExporter, CsvItemExporter
class MyExportPipeline(object):
def __init__(self):
self.files = defaultdict(list)
@classmethod
def from_crawler(cls, crawler):
pipeline = cls()
crawler.signals.connect(pipeline.spider_opened, signals.spider_opened)
crawler.signals.connect(pipeline.spider_closed, signals.spider_closed)
return pipeline
def spider_opened(self, spider):
csv_file = open('%s_products.csv' % spider.name, 'w+b')
json_file = open('%s_products.json' % spider.name, 'w+b')
self.files[spider].append(csv_file)
self.files[spider].append(json_file)
self.exporters = [
JsonItemExporter(json_file),
CsvItemExporter(csv_file)
]
for exporter in self.exporters:
exporter.start_exporting()
def spider_closed(self, spider):
for exporter in self.exporters:
exporter.finish_exporting()
files = self.files.pop(spider)
for file in files:
file.close()
def process_item(self, item, spider):
for exporter in self.exporters:
exporter.export_item(item)
return item