通过命令行调用scrapy的自定义导出器
Invoke scrapy's custom exporter by command line
在尝试 (output an ordered Json array by a specific item's field), I've 时建议我为该作业创建一个自定义导出器。
我正在创建一个,但是...我发现的所有示例都建议通过管道调用它,但对我来说这似乎有点多余(我已经在个人导出器上定义了自定义行为。 .. 为什么我也应该使用管道进行自定义?)。
我搜索的是一种通过 scrapy shell 调用自定义导出器的方法。例如,要输出 json 我将使用:
scrapy crawl myspider -o myjson.json
是否存在某种方式来指定 my 自定义导出器以类似方式写入文件?我找到了一个用于自定义命令的实验性功能 COMMANDS_MODULE,但我不确定如何 link 它到我的自定义导出器。
您可以使用 FEED_EXPORTERS 设置激活导出器。
FEED_EXPORTERS = {
'json': 'path.to.SortedJsonItemExporter',
}
在尝试
我正在创建一个,但是...我发现的所有示例都建议通过管道调用它,但对我来说这似乎有点多余(我已经在个人导出器上定义了自定义行为。 .. 为什么我也应该使用管道进行自定义?)。
我搜索的是一种通过 scrapy shell 调用自定义导出器的方法。例如,要输出 json 我将使用:
scrapy crawl myspider -o myjson.json
是否存在某种方式来指定 my 自定义导出器以类似方式写入文件?我找到了一个用于自定义命令的实验性功能 COMMANDS_MODULE,但我不确定如何 link 它到我的自定义导出器。
您可以使用 FEED_EXPORTERS 设置激活导出器。
FEED_EXPORTERS = {
'json': 'path.to.SortedJsonItemExporter',
}