node.js + sequelize 批量插入

node.js + sequelize bulk insert

我是 node.js 的新手,正在制作续集。我已经用 sequelize 构建了一个 mysql 数据库,它符合我对实际项目的需求。

然后我搜索了用 sequelize 填充数据库的可能性,将它与 csv 文件结合起来的方法对我来说似乎是最好的解决方案。

我有三个单独表格的三个 csv 文件,并在 github https://gist.github.com/evansiroky/167f218bb5342bff80c6#file-sequelizebulkinsert-js

上找到了 Evan 的脚本

任何人都可以帮助我了解如何实施它来完成这项工作吗?我知道这一定是一个非常基本的问题,但我不知道如何。

如果您只想用数据填充您的数据库,您仍然可以使用老式的方法,使用 mysql 的 mysql 导入或其他工具。

如果这是你经常做的事情,也许你可以尝试创建一个调用 sequelizeBulkInsert 脚本的函数,假设它工作正常(未测试):

// sequelizeBulkInsert.js
var fs = require('fs');
var async = require('async');
var csv = require('csv');


module.exports = function(Model){
  this.importFile = function(filename, doneLoadingCallback) {
    var input = fs.createReadStream(filename);
    var parser = csv.parse({
      columns: true,
      relax: true
    });

    var inserter = async.cargo(function(tasks, inserterCallback) {
        Model.bulkCreate(tasks).then(function() {
            inserterCallback();
          }
        );
      },
      1000
    );

    parser.on('readable', function () {
      while(line = parser.read()) {
        inserter.push(line);
      }
    });

    parser.on('end', function (count) {
      inserter.drain = function() {
        doneLoadingCallback();
      }
    });

    input.pipe(parser);
  }
}

然后,在另一个文件中

var Bulk = require('/path/to/sequelizeBulkInsert');
var bulk = new Bulk(Model);

bulk.importFile('path_to_data.csv', function(){
  //data is imported
})