请求模块 405 客户端错误，其中 urllib3 工作正常

Question

无法使用请求模块获取数据。

import requests
resp = requests.get("https://www.embassy-worldwide.com")
resp.status_code

下面的代码工作正常。

import urllib3
http = urllib3.PoolManager()
r = http.request('GET', 'https://www.embassy-worldwide.com/')
r.status

是否需要在 requests.get 命令中设置任何参数以使其工作？

Answer 1

如果您正在抓取或发送请求，则网站需要知道它来自浏览器，因此添加相关的 headers。

In [57]: headers = {'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:78.0) Gecko/20100101 Firefox/78.0'}

In [58]: import requests
    ...: resp = requests.get("https://www.embassy-worldwide.com", headers=headers)
    ...: resp.status_code
Out[58]: 200

请求模块 405 客户端错误，其中 urllib3 工作正常

Requests module 405 Client Error where as urllib3 works fine

python-3.x

python-requests

urllib3