为 scrapy shell 请求设置 headers

Question

我知道您可以scrapy shell -s USER_AGENT='custom user agent' 'http://www.example.com'更改USER_AGENT，但是您如何添加请求headers？

Answer 1

目前没有直接在 cli 上添加 headers 的方法，但您可以这样做：

$ scrapy shell
...
...
>>> from scrapy import Request
>>> req = Request('yoururl.com', headers={"header1":"value1"})
>>> fetch(req)

这将使用该新请求更新当前 shell 信息。

Set headers for scrapy shell request