使用 Python 抓取 TripAdvisor 酒店页面

Scrape TripAdvisor Hotel Page with Python

我目前正在构建一个抓取工具来获取评论和评分。

它适用于餐厅,但它给了我 400 的酒店

代码如下:https://gist.github.com/jamieaitken/e6df15db9f1204fe67c16f1404996c6f

嗯,常规请求在这里应该可以正常工作,例如:

from requests import request as req

url = 'https://www.tripadvisor.co.uk/Hotel_Review-g60745-d121009-Reviews-Holiday_Inn_Express_Boston-Boston_Massachusetts.html'
rsp = req('GET', url)

if rsp.status_code == 200:
    print(rsp.text.encode('utf-8'))