使用 phantom ( Node.js ) 抓取时向下滚动
Scroll down when scraping with phantom ( Node.js )
我正在使用 phantom 抓取动态网页内容,我需要向下滚动才能显示所有页面内容。
我已经试过了await page.property('scrollPosition', { top: 1000, left: 0 });
,但它对我不起作用,而且内容还是一样。
这是我的代码:
(async function() {
const instance = await phantom.create();
const page = await instance.createPage();
await page.on("onResourceRequested", function(requestData) {
//console.info("Requesting", requestData.url);
});
const status = await page.open(
"https://www.articles-epresse.fr/media/894eab75-c642-46a2-a1ba-b240c278ebbc?"
);
if (status == "success") {
await page.property("scrollPosition", {
top: 1000,
left: 0
});
}
const content = await page.property("content");
console.log(content);
var $ = cheerio.load(content);
有什么想法吗?
我只需要将 top
的值增加到 3000
这样它就可以抓取页面的其余部分
我正在使用 phantom 抓取动态网页内容,我需要向下滚动才能显示所有页面内容。
我已经试过了await page.property('scrollPosition', { top: 1000, left: 0 });
,但它对我不起作用,而且内容还是一样。
这是我的代码:
(async function() {
const instance = await phantom.create();
const page = await instance.createPage();
await page.on("onResourceRequested", function(requestData) {
//console.info("Requesting", requestData.url);
});
const status = await page.open(
"https://www.articles-epresse.fr/media/894eab75-c642-46a2-a1ba-b240c278ebbc?"
);
if (status == "success") {
await page.property("scrollPosition", {
top: 1000,
left: 0
});
}
const content = await page.property("content");
console.log(content);
var $ = cheerio.load(content);
有什么想法吗?
我只需要将 top
的值增加到 3000
这样它就可以抓取页面的其余部分