点击后无法抓取下一个网页

Question

我正在尝试通过 phantomjs 编写脚本来抓取网站不同页面（目前为两个，但将来可能会更多或更少）的 table 拆分。

我已经成功生成了两个 html 包含我需要的内容的输出，但是生成的输出始终是第一个 table 而不是第二个。我试过包括超时以等待页面加载，但它似乎不起作用。我已经测试了 Chrome 控制台上的下一步按钮的点击并且它有效。不确定还缺少什么...

// Step 1: Open web page
var page = require('webpage').create();
var fs = require('fs');
function onPageReady() {
page.open('https://adb.taleo.net/careersection/1/jobsearch.ftl#');
phantom.waitFor(function() {return !page.loading;});

// Step 2: Scrape first table
var htmlContent = page.evaluate(function() {
    return document.documentElement.outerHTML;});
fs.write('C://MY_PATH' + '/outputadb.html', 
htmlContent,'w')

// Step 3: Click on button and wait for it to show
page.evaluate(function() { $("a#next").click(); });
phantom.waitFor(function() {
    return page.evaluate(function() {return $(".result-list- 
button").is(":visible");});
});
var htmlContent2 = page.evaluate(function() {
    return document.documentElement.outerHTML;});
fs.write('C://MY_PATH' + 
 '/outputadb2.html', htmlContent2,'w')
//console.log('READY!');
 phantom.exit();
}

phantom.waitFor = function(callback) {
  do {
   // Clear the event queue while waiting.
   // This can be accomplished using page.sendEvent()
   this.page.sendEvent('mousemove');
  } while (!callback());
 }

 onPageReady();

按照我尝试使用 puppeteer 的建议。然而，在我的尝试下面，我得到了对象承诺作为输出而不是 html 源代码。有什么想法吗？

const puppeteer = require('puppeteer');
const fs = require('fs');

(async function main() {

try {
const browser = await puppeteer.launch({headless: true});
const page = await browser.newPage();
page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) 
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36')
await page.goto('https://adb.taleo.net/careersection/2/jobsearch.ftl#', { 
waitUntil: "networkidle2" });
await page.waitFor(1 * 1000);

const htmlContent =  page.evaluate(() => {
return document.documentElement.innerHTML})
body.innerHTML, bodyHandle);
console.log(htmlContent);
fs.writeFileSync("out.html", htmlContent);

await browser.close();
} catch (e) {
    console.log('our error',e)
}

})();

Answer 1

关于您的 puppeteer 代码：您需要 await 所有与 puppeteer 一起使用的操作，例如

const htmlContent = await page.evaluate()

点击后无法抓取下一个网页

Cannot scrape the next web page after clicking

javascript

web-scraping

phantomjs

puppeteer