将 Scrapy 与 CasperJS 相结合
Combining Scrapy with CasperJS
当我使用 Scrapy-Splash 尝试 Splash 时，它不支持像真正的浏览器那样的导航。它只呈现 HTML，但当它单击一个按钮时，它不会呈现它导航到的下一页。
根据我的简单研究，只有 CasperJS 支持带导航的网页抓取。但是，是否可以结合 Scrapy 和 CasperJS
您将浏览器与测试框架混淆了，Selenium 正是这样做的，但使用 PhantomJS 作为无头浏览器（CasperJS 使用的是 headless 浏览器）而不是 Firefox。
# Assume the button has the ID "submit" :)
driver.find_element_by_id("submit").click()
alexce answer on scrapy with selenium
如果您需要请求的内容，请使用类似 BrowserMob 的内容作为代理。
当我使用 Scrapy-Splash 尝试 Splash 时，它不支持像真正的浏览器那样的导航。它只呈现 HTML，但当它单击一个按钮时，它不会呈现它导航到的下一页。
根据我的简单研究，只有 CasperJS 支持带导航的网页抓取。但是，是否可以结合 Scrapy 和 CasperJS
您将浏览器与测试框架混淆了，Selenium 正是这样做的，但使用 PhantomJS 作为无头浏览器（CasperJS 使用的是 headless 浏览器）而不是 Firefox。
# Assume the button has the ID "submit" :)
driver.find_element_by_id("submit").click()
alexce answer on scrapy with selenium
如果您需要请求的内容，请使用类似 BrowserMob 的内容作为代理。