如何使用 node.js 抓取包含动态内容的页面？

Question

我正在尝试抓取 website 但我没有得到一些元素，因为这些元素是动态创建的。

我在 node.js 中使用了 cheerio，我的代码如下。

var request = require('request');
var cheerio = require('cheerio');
var url = "http://www.bdtong.co.kr/index.php?c_category=C02";

request(url, function (err, res, html) {
    var $ = cheerio.load(html);
    $('.listMain > li').each(function () {
        console.log($(this).find('a').attr('href'));
    });
});

此代码returns 为空响应，因为加载页面时，<ul id="store_list" class="listMain"> 为空。

尚未添加内容。

如何使用 node.js 获取这些元素？如何抓取包含动态内容的页面？

Answer 1

给你;

var phantom = require('phantom');

phantom.create(function (ph) {
  ph.createPage(function (page) {
    var url = "http://www.bdtong.co.kr/index.php?c_category=C02";
    page.open(url, function() {
      page.includeJs("http://ajax.googleapis.com/ajax/libs/jquery/1.6.1/jquery.min.js", function() {
        page.evaluate(function() {
          $('.listMain > li').each(function () {
            console.log($(this).find('a').attr('href'));
          });
        }, function(){
          ph.exit()
        });
      });
    });
  });
});

Answer 2

使用新的 npm 模块 x-ray, with a pluggable web driver x-ray-phantom。

以上页面中的示例，但这里是动态抓取的方法：

var phantom = require('x-ray-phantom');
var Xray = require('x-ray');

var x = Xray()
  .driver(phantom());

x('http://google.com', 'title')(function(err, str) {
  if (err) return done(err);
  assert.equal('Google', str);
  done();
})

Answer 3

查看 GoogleChrome/puppeteer

Headless Chrome Node API

这使得抓取变得非常简单。以下示例将在 npmjs.com 处抓取标题（假设保留 .npm-expansions）

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();

  await page.goto('https://www.npmjs.com/');

  const textContent = await page.evaluate(() => {
    return document.querySelector('.npm-expansions').textContent
  });

  console.log(textContent); /* No Problem Mate */

  browser.close();
})();

evaluate 将允许检查动态元素，因为这将运行页面上的脚本。

Answer 4

最简单可靠的解决方案是使用 puppeteer。正如https://pusher.com/tutorials/web-scraper-node中提到的，它适用于静态+动态抓取。

仅将Browser.js、TimeoutSettings.js、Launcher.js中的超时时间从300000改成3000000

如何使用 node.js 抓取包含动态内容的页面？

How can I scrape pages with dynamic content using node.js?

javascript

web-crawler

node.js

phantomjs