如何记录 Scrapy 设置？

Question

Scrapy 从许多来源获取设置——环境参数、配置文件、编程设置——所以我想记录有效设置以查看它有什么。

我该怎么做？

我会简单地遍历 Scrapy 的设置对象中的键和值，但它并没有像人们预期的那样暴露字典的完整界面。

Answer 1

您可以迭代可用的属性：

for name in crawler.settings.attributes:
    value = crawler.settings.get(name)
    print name, '=', repr(value)

输出：

CLOSESPIDER_ITEMCOUNT = 0
USER_AGENT = u'Scrapy/1.0.3 (+http://scrapy.org)'
HTTPCACHE_DIR = 'httpcache'
MEMUSAGE_REPORT = False
...

How do I log Scrapy settings?