如何使用 AbotX Javascriptrendering 在网页上覆盖和执行操作

Question

我正在尝试使用 AbotX crawler 抓取我需要呈现 javascript 的网站并在其上按一个 span 标签。

我经常使用 Abot 爬虫，预计必须覆盖一些 classes 就像我以前不得不扩展例如 CrawlDecisionMaker 一样。

但我似乎找不到从哪里开始，我希望我必须写这样的东西：

var implemnts = new ImplementationOverride(config);
implemnts.JavascriptRenderer = new PhantomJsRendererTest(config);

并扩展 PhantomJsRenderer 使其能够单击呈现页面上的按钮。

但是由于我看不到现有 class 的作用或找不到有关从哪里开始的任何信息，所以我完全迷路了。

我想标记 post Abot 和 AbotX，但我没有所需的声誉。

Answer 1

AbotX（IsJavascriptRenderingEnabled = true）将检索页面源并执行所有 javascript 以获得最终页面呈现。此最终渲染包括所有内容 (html/css)，甚至是 added/modified 使用 javascript 的内容。它不允许您进一步执行 javascript。

如果您需要与页面进一步交互，那么网络爬虫可能不是您所需要的。您需要使用像 PhantomJs or Selenium 这样的浏览器自动化框架。这些是无头浏览器，可让您像在浏览器中一样与页面交互。