无法正常运行 header（403 错误）

Question

我一直在关注 YouTube 上的指南，但一直无法获得正确的 User-Agent 以通过 HTTP 403 Forbidden

这是我正在尝试的代码：

from bs4 import BeautifulSoup as soup
from urllib.request import urlopen as uReq

user_agent = 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.7) Gecko/2009021910 Firefox/3.0.7'

my_url = "https://www.pedidosya.com.ar/restaurantes/buenos-aires/monserrat/empanadas-delivery"
headers = {'User-Agent':user_agent,} 

uReq(my_url)

Answer 1

也许这是一个不与保存 cookie 等数据的服务器保持会话的问题？我运行遇到了重定向超时的问题，解决方案是使用 requests.session()。我的代码最终看起来像这样：

import bs4
import requests

s = requests.session()
s.headers['User-Agent'] = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.131 Safari/537.36'
res = s.get('https://www.pedidosya.com.ar/restaurantes/buenos-aires/monserrat/empanadas-delivery')
soup = bs4.BeautifulSoup(res.text, 'html.parser')

当我运行这似乎没有错误。

我刚刚在 post 网上找到的用户代理。我不知道它到底是如何工作的，但它让我的脚本工作，所以我不必理解 XD

无法正常运行 header（403 错误）

Cant get the proper header functioning (403 Error)

python

beautifulsoup

http-status-code-403