无法连接到具有 python 请求模块的 url

Question

我无法使用请求模块连接到 URL，但在浏览器中浏览时它工作正常。会不会是一些 robots.txt 问题 Allowed/Disallowed 问题？

下面是代码库。

import requests

r = requests.get('https://myntra.com')

print(r)

Answer 1

一些网站阻止来自 non-web 浏览器“User-Agents”的访问以防止网络抓取，包括来自默认 Python 的请求“User-Agent”。

因此您需要像网络浏览器一样传递用户代理，例如：

r = requests.get('https://myntra.com/', headers = {
        "User-Agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:100.0) Gecko/20100101 Firefox/100.0",
    },)

“User-Agent”字符串包含有关正在使用的浏览器、版本和操作系统的信息。

Answer 2

问题中显示的 URL 要求通过 GET 请求传递 User-Agent。

import requests
AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 11_5_1) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Safari/605.1.15'
headers = {'User-Agent': AGENT}
(r := requests.get('https://myntra.com', headers=headers)).raise_for_status()

无法连接到具有 python 请求模块的 url

Unable to connect to a url with python request module

python

python-requests