获取需要用户交互的页面
Fetching a page which needs user interaction
在 Python 中,我试图从特定网站获取页面。
在本网站中,有些部分的信息无法在 HTML 页面中完全访问,需要一些用户交互。更清楚的是,有一些评论,但长评论被缩短了,要查看完整评论,用户必须单击 'More' 超链接。有什么方法可以处理 Python 中的这些超链接并获取所有这些案例的全部评论吗?
这是 'More' 超链接的快照:
<span class="bla bla" onclick="ta.util.cookie.setPIDCookie(123); ta.call('ta.servlet.Reviews.expandReviews',event,this,'review_331979201', '1', 123);"> More </span>
你可以使用 selenium webdriver api 例如看这个
https://www.reddit.com/r/selenium/comments/2lscf4/clicking_a_button_using_selenium_python/
要阅读完整文档,请使用 http://www.seleniumhq.org/docs/
使用Selenium
python绑定:http://selenium-python.readthedocs.org/
算法可能如下:
- 如果 "More" 超链接在视口中不可见 - 滚动到该元素
- 点击超链接
- 获取所有评论
滚动和点击网页元素的类似情况:
在 Python 中,我试图从特定网站获取页面。 在本网站中,有些部分的信息无法在 HTML 页面中完全访问,需要一些用户交互。更清楚的是,有一些评论,但长评论被缩短了,要查看完整评论,用户必须单击 'More' 超链接。有什么方法可以处理 Python 中的这些超链接并获取所有这些案例的全部评论吗?
这是 'More' 超链接的快照:
<span class="bla bla" onclick="ta.util.cookie.setPIDCookie(123); ta.call('ta.servlet.Reviews.expandReviews',event,this,'review_331979201', '1', 123);"> More </span>
你可以使用 selenium webdriver api 例如看这个
https://www.reddit.com/r/selenium/comments/2lscf4/clicking_a_button_using_selenium_python/
要阅读完整文档,请使用 http://www.seleniumhq.org/docs/
使用Selenium
python绑定:http://selenium-python.readthedocs.org/
算法可能如下:
- 如果 "More" 超链接在视口中不可见 - 滚动到该元素
- 点击超链接
- 获取所有评论
滚动和点击网页元素的类似情况: