如何将数据传递给 scrapinghub？

Question

我正在尝试 运行 scrapinghub 上的 scrapy 蜘蛛，我想传递一些数据。我正在使用他们的 API 来 运行 蜘蛛：

http://doc.scrapinghub.com/api/jobs.html#jobs-run-json

他们有一个 job_settings 的选项，这似乎是相关的，但我不知道如何访问 Spider class 中的 job_settings 数据。这里正确的方法是什么？

Answer 1

此 job_settings 应直接合并到 Scrapy settings，具有更高的优先级（40，IIRC）。

可以通过蜘蛛实例的 .settings 属性访问 Scrapy 设置，例如如果 self 是 scrapy.Spider 实例，您可以使用 self.settings。