等待所有数据从 HTTPoison 中的网页加载
Wait until all data is loaded from Webpage in HTTPoison
我正在尝试加载一个网页,其中我感兴趣的数据是在初始页面加载后通过 Ajax
加载的。当我获取页面时,我当前看到的文本是 Loading records...
。
我想知道在数据返回给我之前我可以使用什么技术来等待该部分加载完毕。
目前我正在使用 Elixir HTTPoison
库,但我对 Elixir/Erlang 中的不同技术持开放态度。
像 HTTPoison
这样的库只发出初始网络请求,返回 "server-rendered" 内容。他们不处理客户端代码和标记。您需要像 PhantomJS
这样的无头浏览器/网络驱动程序来实际处理它并执行 javascript 代码(类似于普通网络浏览器的方式)。
完成这项工作的两个流行的 Elixir 库(尽管它们主要用于集成测试)是:
如果 Ajax 调用足够简单,另一种选择是首先使用 HTTPoison
加载网页和脚本,然后使用类似 [=19] 的方法提取 Javascript 代码=], 解析正在进行的 Ajax 调用,然后通过 HTTPoison
.
手动执行
我正在尝试加载一个网页,其中我感兴趣的数据是在初始页面加载后通过 Ajax
加载的。当我获取页面时,我当前看到的文本是 Loading records...
。
我想知道在数据返回给我之前我可以使用什么技术来等待该部分加载完毕。
目前我正在使用 Elixir HTTPoison
库,但我对 Elixir/Erlang 中的不同技术持开放态度。
像 HTTPoison
这样的库只发出初始网络请求,返回 "server-rendered" 内容。他们不处理客户端代码和标记。您需要像 PhantomJS
这样的无头浏览器/网络驱动程序来实际处理它并执行 javascript 代码(类似于普通网络浏览器的方式)。
完成这项工作的两个流行的 Elixir 库(尽管它们主要用于集成测试)是:
如果 Ajax 调用足够简单,另一种选择是首先使用 HTTPoison
加载网页和脚本,然后使用类似 [=19] 的方法提取 Javascript 代码=], 解析正在进行的 Ajax 调用,然后通过 HTTPoison
.