python scrapy 302(我要回原页面)
python scrapy 302 (I want to back the original page)
我要刮
https://movie.douban.com/subject/1292052/本页
但是 url 重定向到
http://m.douban.com/movie/subject/1292052
我怎么回到第一页并使用第一页的解析方式(xpath)继续?
谢谢!
您被重定向到移动网站的原因是您的用户代理不是已知的桌面浏览器。
您可以将 settings.py
中的 USER_AGENT
变量修改为 USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36'
如果您坚持不被重定向,您可以使用 {'dont_redirect': True, 'handle_httpstatus_list': [302]}
在您的请求中添加 meta
变量。这样,您就不会被重定向。
我要刮 https://movie.douban.com/subject/1292052/本页
但是 url 重定向到 http://m.douban.com/movie/subject/1292052 我怎么回到第一页并使用第一页的解析方式(xpath)继续? 谢谢!
您被重定向到移动网站的原因是您的用户代理不是已知的桌面浏览器。
您可以将 settings.py
中的 USER_AGENT
变量修改为 USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36'
如果您坚持不被重定向,您可以使用 {'dont_redirect': True, 'handle_httpstatus_list': [302]}
在您的请求中添加 meta
变量。这样,您就不会被重定向。