request.get 在 python 抓取工具中不起作用

request.get doesn't work in python scraper

你好,我正在尝试让这个基本的爬虫工作,它应该去网站填写 "City" 和 "area",搜索餐馆和 return html 页。

这是我正在使用的代码

payload = OrderedDict([('cityId','NewYork'),('area','Centralpark')])

req = requests.get("http://www.somewebsite.com",params=payload)

f = req.content 
soup = BeautifulSoup((f))

这是来源 HTML 的样子

当我检查生成的 soup 变量时,它没有搜索结果,而是仅包含第一页的数据,其格式为输入城市和区域值(即 www.somewebsite.com,我想要的是 www.somewebsite.com?cityId=NewYork&area=centralPark) 的结果。那么,是否有任何我必须通过该参数传递的内容才能明确按下搜索按钮,或者是否有任何其他方法可以使其工作。

您需要先检查您是否可以通过网络浏览器访问 URL 并获得正确的结果。