使用 scrapyd-client 部署时出现 scrapyd 错误

Question

执行命令时：

scrapyd-deploy default

我遇到了一条错误消息：

File"/home/user/miniconda3/envs/quickcompany/lib/python3.8/site-packages/scrapyd_client/deploy.py", line 23, in <module>
    from scrapy.utils.http import basic_auth_header
ModuleNotFoundError: No module named 'scrapy.utils.http'

我试过卸载并重新安装相关库。还尝试同时使用 github 和打包版本的 scrapyd-client。

Answer 1

18.9 之前的 Twisted 版本使用 scrapy.utils.http（已弃用）如果你想使用 scrapyd-client 在 scrapyd-deplo.py 文件中将 from scrapy.utils.http import basic_auth_header 更改为 from w3lib.http import basic_auth_header尽管我建议您不要使用已弃用的软件包。

Answer 2

对 LuisA310 解决方案稍作修改，scrapyd-client==1.2.0a1

应为 from w3lib.http import basic_auth_header

Answer 3

对于那些想知道答案的人，库中出现了一个小故障。我尝试升级 scrapyd 客户端，从那以后它似乎工作正常

使用 scrapyd-client 部署时出现 scrapyd 错误

scrapyd error while deploying with scrapyd-client

python

web-crawler

scrapy

web-scraping

scrapyd