在 R 中使用 phantomJS 抓取具有动态加载内容的页面

Question

背景我目前正在使用 rvest 从 R 中的一些网站上抓取产品信息。这适用于除一个网站外的所有网站，该网站的内容似乎是通过 angularJS (?) 动态加载的，因此无法迭代加载，例如通过 URL 参数（就像我对其他网站所做的那样）。具体url如下：

http://www.hornbach.de/shop/Badarmaturen/Waschtischarmaturen/S3584/artikelliste.html

请记住，我在我的机器上没有管理员权限，只能实施不需要或只需要一次性授予管理员权限的解决方案

期望输出 最后，R 中带有产品信息（例如标签、价格、评级）的 table => 但是，在这个问题中，我纯粹需要帮助来动态加载和存储网站；我可以自己处理 R 中的 post 处理。如果你能把我推向正确的方向，那就太好了；也许我下面列出的方法之一是正确的，但我似乎无法将它们转移到指定的网站。

当前方法 我发现 phantomJS 是一个无头浏览器，afaik 应该能够处理这个问题。我对 Java 脚本有接近 none 的了解，并且语法与我更习惯的语言（R、Matlab、SQL）有很大不同（至少对我而言）真的很难实施在其他地方建议的可能适用于我的代码的方法。基于 this example（非常感谢）我设法至少从第一个显示的页面中检索了以下代码的信息：

回复:

require(rvest)

## change Phantom.js scrape file
url <- 'http://www.hornbach.de/shop/Badarmaturen/Waschtischarmaturen/S3584/artikelliste.html'

lines <- lines <- readLines("scrape_final.js")
lines[1] <- paste0("var url ='", url ,"';")
writeLines(lines, "scrape_final.js")

## Download website
system("phantomjs scrape_final.js")

### use Rvest to scrape the downloaded website.
web <- read_html("1.html")
content <- html_nodes(web, 'div.paging-indicator')# %>% html_attr('href')
content <- html_text(content) %>% as.data.frame()

和对应的PhantomJS脚本：

var url ='http://www.hornbach.de/shop/Badarmaturen/Waschtischarmaturen/S3584/artikelliste.html';
var page = new WebPage() 
var fs = require('fs'); 

page.open(url, function (status) { 
         just_wait(); 
}); 


function just_wait() { 
    setTimeout(function() { 
              fs.write('1.html', page.content, 'w'); 
           phantom.exit(); 
    }, 2500); 
}

什么不起作用 // 研究 虽然此代码从第一页检索信息，但我确实需要遍历所有 x 个产品页面。我尝试使用以下示例扩展上面的代码：

Unable to scrape multiple pages using phantomjs in r

[使用 phantomjs 抓取动态加载页面][3]

[Web 抓取在 R 中动态加载数据][4]

这些例子让我想到了这个想法

点击 "next page" 按钮
或以某种方式注入正确的分页值
1. 点击"next page"按钮

看起来像下面这样

    var url ='http://www.hornbach.de/shop/Badarmaturen/Waschtischarmaturen/S3584/artikelliste.html';
    var page = require('webpage').create(); 
    var fs = require('fs'); 

    page.open(url, function (status) { 
    age.open(url, function() {
      page.includeJs("http://ajax.googleapis.com/ajax/libs/jquery/1.6.1/jquery.min.js", function() {
        page.evaluate(function() {
          $("paging-btn right").click();
            just_wait(); 
        });
        phantom.exit()
      });

    }); 


    function just_wait() { 
        setTimeout(function() { 
                  fs.write('1.html', page.content, 'w'); 
               phantom.exit(); 
        }, 2500); 
    }

但是由于语法不佳和其他原因，这对我没有任何帮助。不幸的是，从 R 调用这个脚本不会产生错误，它只是运行了很长时间所以我不得不退出它（而工作脚本只需要几秒钟）。

我使用 firefox 的小工具检查器检索按钮名称，但也可能是错误的：

<a class="paging-btn right rel="next" ng-click="goToNextPage()" 
ng-hide="articleData.pageNumber == articleData.pageCount" 
href="javascript:void(0);">right</a>

加载时更改分页参数

我尝试在此处处理给定的示例 Passing variable into page.evaluate - PhantomJS

但也刚刚得到一个从未在 R 中结束的脚本

补充说明 看起来我只被允许 post 两个 link，所以不幸的是我不能 link 我研究和测试的所有来源。

我很清楚这是一个庞大而混乱的信息，如果你能帮助我 improve/better 构建我的问题，请告诉我。我会尽力响应并为您提供任何您需要的帮助。

Answer 1

我将 PhantomJS 代码分成两部分以避免出现错误消息。我非常有信心可以先阅读并存储网站，然后点击 "next page" 按钮并输出新的 url，但不幸的是，如果没有错误消息，这并没有成功。

下面的R代码是最内层的抓取循环（从一个子类别的页面中检索信息，相应地调用/更改PhantomJS脚本）。

   for (i3 in 1:num_prod_pages) {

      system('phantomjs readhtml.js') # return html of current page via PhantomJS

      ### Use Rvest to scrape the downloaded website.

      html_filename <- paste0(as.character(i3), '.html') # file generated in PhantomJS readhtml.js
      web <- read_html(html_filnamee)
      content <- html_nodes(web, 'div.article-pricing') # %>% html_attr('href')
      content <- html_text(content) %>% as.data.frame()

      ### generate URL of next page

      url_i3 <- capture.output(system("phantomjs nextpage.js", intern = TRUE)) %>%
         .[length(.)] %>% # last line of output contains 
         str_sub(str_locate(., 'http')[1], -2) # cut '[1] \' at start and ' \" ' at end

      # Adapt PhantomJS scripts to new url

      lines <- readLines("readhtml.js")
      lines[2] <- paste0("var url ='", url_i3 ,"';")
      lines[11] <- paste0("              fs.write('", as.character(i3), ".html', page.content, 'w');")
      writeLines(lines, "readhtml.js")

      lines <- readLines("nextpage.js")
      lines[2] <- paste0("var url ='", url_i3 ,"';")
      writeLines(lines, "nextpage.js")
   }

以下 PhantomJS 代码 "readhtml.js" 代码在本地存储当前 URL 的网站

var webPage = require('webpage');
var url ='http://www.hornbach.de/shop/Badarmaturen/S476/artikelliste.html';
var fs = require('fs'); 
var page = webPage.create();
var system = require('system');

//page.settings.userAgent = 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:40.0) Gecko/20100101 Firefox/40.0'
page.settings.userAgent = 'Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)'

page.open(url, function(status) {
    if (status === 'success') {
        fs.write('1.html', page.content, 'w'); 
        console.log('htmlfile ready');
        phantom.exit(); 
    }
})

下面的PhantomJS代码"nextpage.js"代码点击"next page"按钮和returns新的URL

var webPage = require('webpage');
var url ='http://www.hornbach.de/shop/Badarmaturen/S476/artikelliste.html';
var fs = require('fs'); 
var page = webPage.create();
var system = require('system');

page.settings.userAgent = 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:40.0) Gecko/20100101 Firefox/40.0';

page.open(url, function(status) {
    if (status === 'success') {
        page.evaluate(function() {
            document.querySelector('a.right:nth-child(3)').click();
        });
        setTimeout(function() {
            var new_url = page.url;
            console.log('URL: ' + new_url);
            phantom.exit();
    }, 2000);
    };
});

总的来说不是很优雅，但缺少其他输入我关闭了这个，因为它可以正常工作，没有任何错误消息

在 R 中使用 phantomJS 抓取具有动态加载内容的页面

Use phantomJS in R to scrape page with dynamically loaded content

jquery

web-scraping

phantomjs

angularjs

rvest