使用返回错误的小 js 脚本使用 R 和 phantomjs 进行 Web 抓取

Question

我需要从此页面获取包含一些脚本的内容： https://grouper.swissdrg.org/swissdrg/single?version=7.3&pc=1337_70_0_0_M_11_00_15_0_2018/08/07_2018/08/22_C18.4_C07_-_45.81.11$$&provider=acute&locale=de. 对于包含 js 的其他页面，它工作正常但不适合我需要的页面。

phantomjs.exe在根目录下，系统调用成功调用（win7 64位）：

系统("phantomjs WebScrapeV1.js")

java脚本文件WebScrapeV1.js如下：

var url ='https://grouper.swissdrg.org/swissdrg/single?version=7.3&pc=1337_70_0_0_M_11_00_15_0_2018/08/07_2018/08/22_C18.4_C07_-_45.81.11$$&provider=acute&locale=de';
var page = new WebPage()
var fs = require('fs');
page.open(url, function (status) {
  just_wait();
});
function just_wait() {
  setTimeout(function() {
    fs.write('WebScrapeV1.html', page.content, 'w');
    phantom.exit();
  }, 2500);
}

这是我得到的错误：

错误：[mobx.array]索引越界，函数(t){return{key:t.version,text:t["name_"+e.root.navigation.lang],value:t.version}} 大于 30

https://grouper.swissdrg.org/packs/App-3dd15966701d9f6fd4db.js:1 在 br 未处理的承诺拒绝 TypeError: undefined is not a constructor (evaluating 'n.push(this.pdx)')

Answer 1

您可能需要更长的超时时间。我不得不使用 3600 来获取所有内容（该站点对我来说超级慢）。这是一种在发生错误时可以修改超时的方法，而无需手动修改 phantomjs 脚本。

首先，我们将创建一个函数来解决所有的复杂问题：

#' Read contents from a URL with phantomjs
#' 
#' @param url the URL to scrape
#' @param timeout how long to wait, default is `2500` (ms)
#' @param .verbose, if `TRUE` (the default), display the generated 
#'        scraping script and any `stdout` output from phantomjs
read_phantom <- function(url, timeout=2500, .verbose = TRUE) {

  suppressPackageStartupMessages({
    require("glue", character.only = TRUE, quiet=TRUE)
    require("crayon", character.only = TRUE, quiet=TRUE)
  })

  phantom_template <- "
var url = {url};
var page = new WebPage()
var fs = require('fs');
page.open(url, function (status) {{
  just_wait();
});
function just_wait() {{
  setTimeout(function() {{
    fs.write({output_file}, page.content, 'w');
    phantom.exit();
  }, {timeout});
}
" 

  url <- shQuote(url)

  phantom_bin <- Sys.which("phantomjs")

  tf_in <- tempfile(fileext = ".js")
  on.exit(unlink(tf_in), add=TRUE)

  tf_out <- tempfile(fileext = ".html")
  on.exit(unlink(tf_out), add=TRUE)

  output_file <- shQuote(tf_out)

  phantom_script <- glue(phantom_template)

  if (.verbose) {
    cat(
      crayon::white("Using the following generated scraping script:\n"),
      crayon::green(phantom_script), "\n", sep=""
    )
  }

  writeLines(phantom_script, tf_in)

  system2(
    command = phantom_bin, 
    args = tf_in,
    stdout = if (.verbose) "" else NULL
  )

  paste0(readLines(tf_out, warn = FALSE), collapse="\n")

}

现在，我们将使用您的 URL 并延长超时时间：

read_phantom(
  url = "https://grouper.swissdrg.org/swissdrg/single?version=7.3&pc=1337_70_0_0_M_11_00_15_0_2018/08/07_2018/08/22_C18.4_C07_-_45.81.11$$&provider=acute&locale=de",
  timeout = 3600
) -> doc

substr(doc, 1, 100)
## [1] "<html><head>\n<script src=\"https://js-agent.newrelic.com/nr-1071.min.js\"></script><script type=\" text"

nchar(doc)
## [1] 26858

请注意，自从 headless Chrome 出现以来，主要开发人员已经离开，phantomjs 被认为是一个遗留工具。不幸的是，没有办法在简单的 cmd 行界面中为 headless Chrome 设置超时，所以你现在有点被 phantomjs 困住了。

我建议尝试 splashr but you're on Windows and splashr requires Docker; alternatively, decapitated has an orchestration counterpart gepetto 但这需要 nodejs；这些组合中的任何一个对于许多人来说都很难开始使用那个遗留操作系统。

使用返回错误的小 js 脚本使用 R 和 phantomjs 进行 Web 抓取

Web scraping with R and phantomjs using a small js script returning error

javascript

r

phantomjs