在 nightmare.js 中循环 url 时的异步挑战

Question

我正在使用异步模块通过 nightmarejs 迭代多个 urls。我无法创建新的噩梦实例，因为我每次都必须重新进行身份验证。

所以我正在尝试使用异步模块。我遇到了一个（我认为是经典的）问题，所有迭代的 url 是数组中的最后一个 url - 而不是每个单独的 url。我以为使用 async 模块可以解决这个问题（我也试过使用 let）但我仍然遇到问题

'use strict'

var Nightmare = require("nightmare");
var async = require("async");

//Creates the authenticated nightmare instance

var scraper = new Nightmare()
  .goto('https://www.example.com/signin')
  .type('#login', 'username')
  .type('#password', 'password')
  .click('#btn')
  .run(function(err, nightmare) {
    if (err) {
      console.log(err);
    }
    console.log('Done.');
  });

//Trying to use async module to iterate through urls

function load(url, callback){
  scraper
  .goto(url)
  .wait(2000)
  .screenshot('pic'+url[25]+'.png')
  .run(function(err, nightmare) {
    if (err) {
      console.log(err);
    }
    console.log('Done with ', url[25]);
    callback()
  }); 
}

var urls = [
  'https://www.example.com/p1',
  'https://www.example.com/p2',
  'https://www.example.com/p3',
]

async.each(urls, load, function (err) {
  console.log('done!');
});

感谢任何建议

Answer 1

问题在于这一行：

async.each(urls, load, function (err) {

默认情况下，async 运行s each 并行（see the documentation here，如果你好奇的话）。 Nightmare 无法并行执行多个请求，因此，这样做会导致您所看到的错误结果。

解决方案很简单：改用 async.eachSeries。这将保证您的请求将运行串联，让 Nightmare 按设计工作。

在 nightmare.js 中循环 url 时的异步挑战

Async challenge when looping over urls in nightmare.js

javascript

asynchronous

nightmare

electron