html 的 Puppeteer webscraping 缺失部分

Question

我正在尝试通过网络抓取此网站：https://kineticlabs.store/switches。但是，当我运行下面的代码时，与检查 Chrome 上的网页相比，html 缺少许多子 div 元素。我很困惑为什么会这样，因为它似乎只发生在这个特定的网站上。提前致谢。

let page = await configureBrowser(url);
    await page.reload();
    let html = await page.evaluate(() => document.body.innerHTML);

Answer 1

链接的网站是一个单页应用程序，所有应用程序都使用 javascript 呈现，因此您需要给它时间来加载、解析和呈现。

最好等待应用程序启动后保证存在的元素。

await page.reload();

// Wait until #root is populated by the app
await page.waitForSelector('#root > div');

const products = await page.evaluate(() =>
  [...document.querySelectorAll('.hwsyok')].map(
    (product) => product.innerText
  )
);

html 的 Puppeteer webscraping 缺失部分

Puppeteer webscraping missing part of the html

node.js

web-scraping

cheerio

puppeteer