Node.js：使用异步库运行并行执行两个任务，并在前两个任务完成后执行最后一个任务

Question

场景

需要并行运行两个任务，运行完成firstTask && secondTask后的第三个任务。一直在使用 async 库并且代码有效，但想知道我的代码是否可以改进。

详情

任务 1：readFileNames：读取文件夹和 returns 文件名数组。

任务 2：copyFile：将 config 文件从 src 文件夹复制到目标文件夹。

任务 3：writeConfig：将 readFileNames 的结果写入 destination 文件夹中的 config 文件。

问题

我应该将 parallel 控制流程与 eachSync 结合使用吗？另外，想知道承诺是否会帮助我实现我想做的事情？哪种方法在性能方面更好？ Async vs Q 还是我应该使用像 orchestrator 这样更抽象的库？

以下是我目前所拥有的，它有效但想知道是否有更好的方法：

代码

var async = require("async");
var fs = require("fs-extra");
var dir = require("node-dir");
var path = require("path");
var _ = require("underscore");

var readFileNames = function (src, cb) {
  dir.files(src, function (err, files) {
    if (err) { return cb(err); }
    return cb(files);
  });
};

var copyFile = function (src, dest, cb) {
  fs.copy(src, dest, function (err) {
    if (err) { return cb(err); }
    return cb();
  });
};

var writeConfig = function (destFile, content, cb) {
  fs.appendFile(destFile, content, function (err) {
    if (err) { return cb(err); }
    return cb();
  });
};

var modulesFolder = path.join(__dirname, "modules");
var srcFile = path.join(__dirname, "src", "config.json");
var destFile = path.join(__dirname, "dest", "config.json");

async.parallel(
  [
    function (callback) {
      readFileNames(modulesFolder, function (files) {
        callback(null, files);
      });
    },
    function (callback) {
      copyFile(srcFile, destFile, function () {
        callback(null, "");
      });
    }
  ],
  // last callback
  function (err, results) {
    var toWrite = _.flatten(results);
    toWrite.forEach(function (content) {
      if(content) {
        writeConfig(destFile, content + "\n", function () {
        });
      }
    });
    console.log("done");
  }
);

文件

├── dest
├── main.js
├── modules
│   ├── module1.txt
│   └── module2.txt
├── node_modules
│   ├── async
│   ├── fs-extra
│   └── node-dir
├── package.json
└── src
    └── config.json

Answer 1

你对 async.parallel() 的使用在我看来很好，如果它完成了工作，那么你就完成了。关于性能，您是否将所有可以并行完成的任务都并行化了？你的磁盘 IO 有多快？这些问题比您选择使用哪个 async/promise 库更重要。

话虽如此，与异步相比，像 Q 这样的 promise 库通常会减慢速度，因为它们往往会在并非绝对必要的时候执行 process.nextTick，但这种性能下降是相当小。在绝大多数情况下，性能问题不应决定您选择 async/promise 库。

Answer 2

I have been using async library and the code works, but want to know if there is something I could improve about my code.

您使用了太多的匿名函数表达式。只需传递您收到的 callback 即可！所有这些辅助函数（包括命名的）都是多余的。

此外，您的 readFileNames 函数不遵循节点回调约定。我假设您不打算将错误写入结果文件？

此外，您的最终回调会忽略错误。

Should I combine the parallel control flow with eachSync?

我猜你是指 eachSeries，而不是 eachSync？是的，如果您希望 appendFile 调用无论如何都可以链接，那将是合理的。但是您也可以再次使用 parallel，这将与您当前正在做的 .forEach 更密切相关。但以防万一，您应该使用 async 迭代方法，因为目前您正在记录 "done" 太早了。

不如做

var async = require("async");
var fs = require("fs-extra");
var dir = require("node-dir");
var path = require("path");

var modulesFolder = path.join(__dirname, "modules");
var srcFile = path.join(__dirname, "src", "config.json");
var destFile = path.join(__dirname, "dest", "config.json");

async.parallel([
  function (callback) {
    dir.files(modulesFolder, callback);
  },
  function (callback) {
    fs.copy(srcFile, destFile, callback);
  }
], function(err, results) {
  if (err)
    return console.error(err);
  var toWrite = results[0] // ignore the result of the copy action
  async.eachSeries(toWrite, function(content, callback) {
    // if(content) not sure if needed at all
      fs.appendFile(destFile, content + "\n", callback);
  }, function(err) {
    if (err)
      return console.error(err);
    console.log("done");
  });
});

Also, was wondering if promises would help me achieve what I am trying to do?

是的，他们也可以这样做，而且可能更容易、更直接（如果您习惯了他们的话）。他们还会大大简化错误处理。

And which approach is better in terms of performance?

都没有。这个小脚本的性能受系统 IO 能力和算法使用的并行化程度的限制。这可以通过任一库实现。

Node.js：使用异步库运行并行执行两个任务，并在前两个任务完成后执行最后一个任务

Node.js: using async library to run two tasks in parallel and the last task when the first two are done

javascript

node.js

async.js

Node.js：使用异步库 运行 并行执行两个任务，并在前两个任务完成后执行最后一个任务

Node.js: using async library to run two tasks in parallel and the last task when the first two are done

javascript

node.js

async.js

Node.js：使用异步库运行并行执行两个任务，并在前两个任务完成后执行最后一个任务