Node.js：Return 以定义的顺序承诺

Question

我有数百个 JSON 文件需要按定义的顺序处理，并按照与 JSON 文件中相同的顺序将内容写回 CSV：

用 header
收集 JSON 个文件数组进行处理
读取文件和return包含所需信息的数组
在#1 下创建的 CSV 文件中附加信息
在第 3 步继续处理下一个 JSON 文件

'use strict';
const glob = require('glob');
const fs = require('fs');
const fastcsv = require('fast-csv');
const readFile = require('util').promisify(fs.readFile);

function writeHeader(fileName) {
  return new Promise((resolve, reject) => {
    fastcsv
      .writeToStream(fs.createWriteStream(fileName), [['id', 'aa', 'bb']], {headers: true})
      .on('error', (err) => reject(err))
      .on('finish', () => resolve(true));
  });
}

function buildFileList(globPattern) {
  return new Promise((resolve, reject) => {
    glob(globPattern, (err, files) => {
      if (err) {
        reject(err);
      } else {
        resolve(files);
      }
    });
  });
}

function readFromFile(file) {
  return new Promise((resolve, reject) => {
    readFile(file, 'utf8', (err, data) => {
      if (err) {
        reject(err);
      } else {
        const obj = JSON.parse(data);
        const key = Object.keys(obj['776'])[0];
        const solarValues = [];
        obj['776'][key].map((item, i) => solarValues.push([i, item[0], item[1][0][0]]));
        resolve(solarValues);
      }
    });
  });
}

function csvAppend(fileName, rows = []) {
  return new Promise((resolve, reject) => {
    const csvFile = fs.createWriteStream(fileName, {flags: 'a'});
    csvFile.write('\n');
    fastcsv
      .writeToStream(csvFile, rows, {headers: false})
      .on('error', (err) => reject(err))
      .on('finish', () => resolve(true));
  });
}

writeHeader('test.csv')
  .then(() => buildFileList('data/*.json'))
  .then(fileList => Promise.all(fileList.map(item => readFromFile(item))))
  .then(result => Promise.all(result.map(item => csvAppend('test.csv', item))))
  .catch(err => console.log(err.message));

JSON 例子：

https://gist.github.com/Sineos/a40718c13ad0834b4a0056091e3ac4ca

https://gist.github.com/Sineos/d626c3087074c23a073379ecef84a55c

问题

虽然代码基本上可以工作，但我的问题是 CSV 没有按定义的顺序写回，而是像在异步过程中一样混合在一起。

我尝试了有和没有 Promise.all 的各种组合，导致未决承诺或混淆 CSV 文件。

这是我对 Node.js Promises 的第一次尝试，因此非常感谢每一个关于如何正确执行它的意见。非常感谢。

Answer 1

此代码应按顺序处理您的文件，我们将使用 async/await 和 for .. of 依次循环：

async function processJsonFiles() {
    try {
        await writeHeader('test.csv');
        let fileList = await buildFileList('data/*.json');
        for(let file of fileList) {
            let rows = await readFromFile(file);
            await csvAppend('test.csv', rows);
        }
    } catch (err) {
        console.error(err.message);
    }
}

processJsonFiles();

Node.js：Return 以定义的顺序承诺

Node.js: Return promises in a defined order

csv

node.js

promise

fast-csv