Python - Scrapy 中 settings.py 的下载器中间件问题

Question

我实现了自己的 ProxyMiddleware class 和 RotateUserAgentMiddleware class。并在 settings.py 中进行了必要的更改。现在，问题在于将值分配给 DOWNLOADER_MIDDLEWARES 列表中的新元素。我的代码在我给定的值下表现异常，任何人都可以建议我分配值的正确方法。

这是我的清单：

    DOWNLOADER_MIDDLEWARES = {
            'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': None,
            'IpRotation.ProxyMiddleware.ProxyMiddleware': 800,
            'scrapy.downloadermiddleware.useragent.UserAgentMiddleware' : None,
            'IpRotation.RotateUserAgentMiddleware.RotateUserAgentMiddleware':350
            }

当我禁用此自定义设置时，一切正常。找不到破解方法。

Answer 1

我想你忘了添加自定义中间件

'IPProxy.middlewares.MyCustomDownloaderMiddleware': 543

Python - Scrapy 中 settings.py 的下载器中间件问题

Python - Issue with Downloader Middleware of settings.py in Scrapy

scrapy

python-2.7

scrapy-spider