request.get 在 python 抓取工具中不起作用
request.get doesn't work in python scraper
你好,我正在尝试让这个基本的爬虫工作,它应该去网站填写 "City" 和 "area",搜索餐馆和 return html 页。
这是我正在使用的代码
payload = OrderedDict([('cityId','NewYork'),('area','Centralpark')])
req = requests.get("http://www.somewebsite.com",params=payload)
f = req.content
soup = BeautifulSoup((f))
这是来源 HTML 的样子
当我检查生成的 soup 变量时,它没有搜索结果,而是仅包含第一页的数据,其格式为输入城市和区域值(即 www.somewebsite.com,我想要的是 www.somewebsite.com?cityId=NewYork&area=centralPark
) 的结果。那么,是否有任何我必须通过该参数传递的内容才能明确按下搜索按钮,或者是否有任何其他方法可以使其工作。
您需要先检查您是否可以通过网络浏览器访问 URL 并获得正确的结果。
你好,我正在尝试让这个基本的爬虫工作,它应该去网站填写 "City" 和 "area",搜索餐馆和 return html 页。
这是我正在使用的代码
payload = OrderedDict([('cityId','NewYork'),('area','Centralpark')])
req = requests.get("http://www.somewebsite.com",params=payload)
f = req.content
soup = BeautifulSoup((f))
这是来源 HTML 的样子
当我检查生成的 soup 变量时,它没有搜索结果,而是仅包含第一页的数据,其格式为输入城市和区域值(即 www.somewebsite.com,我想要的是 www.somewebsite.com?cityId=NewYork&area=centralPark
) 的结果。那么,是否有任何我必须通过该参数传递的内容才能明确按下搜索按钮,或者是否有任何其他方法可以使其工作。
您需要先检查您是否可以通过网络浏览器访问 URL 并获得正确的结果。