如何将 Scrapy 的屏幕输出存储到 Linux 中的文件中

Question

我经常用

self.logger.info('Parse function called on %s', response.url)

调试Scrapy项目。但是，当爬取的item很多的时候，那些log信息里面会嵌入很多无用的信息。

我想要的是将屏幕输出存储到一个文件中，这样我就可以进行搜索、文本编辑等

我试过了：

scrapy crawl xxx_spider >> my_log 

但是没用

Answer 1

您的脚本似乎正在写入 stdout 以外的其他内容，例如 stderr。尝试：

     $ scrapy crawl xxx_spider  &> test_log

如果它确实将脚本输出写入到 stderr，您可能希望将来将 stderr 定向到 stdout，并且可能要考虑更改记录器输出文本的位置。