获取需要用户交互的页面

Fetching a page which needs user interaction

在 Python 中,我试图从特定网站获取页面。 在本网站中,有些部分的信息无法在 HTML 页面中完全访问,需要一些用户交互。更清楚的是,有一些评论,但长评论被缩短了,要查看完整评论,用户必须单击 'More' 超链接。有什么方法可以处理 Python 中的这些超链接并获取所有这些案例的全部评论吗?

这是 'More' 超链接的快照:

<span class="bla bla" onclick="ta.util.cookie.setPIDCookie(123); ta.call('ta.servlet.Reviews.expandReviews',event,this,'review_331979201', '1', 123);"> More </span>

你可以使用 selenium webdriver api 例如看这个

https://www.reddit.com/r/selenium/comments/2lscf4/clicking_a_button_using_selenium_python/

要阅读完整文档,请使用 http://www.seleniumhq.org/docs/

使用Seleniumpython绑定:http://selenium-python.readthedocs.org/

算法可能如下:

  1. 如果 "More" 超链接在视口中不可见 - 滚动到该元素
  2. 点击超链接
  3. 获取所有评论

滚动和点击网页元素的类似情况: