Node.js 导入带空白字段的 csv

Question

我正在尝试使用 csv-parse 包导入和解析 CSV 文件，但首先 require 处理 csv 文件时遇到困难。

当我做的时候input = require('../../path-to-my-csv-file')

由于某些字段为空白，我收到连续逗号导致的错误：

e","17110","CTSZ16","Slitzer&trade; 16pc Cutlery Set in Wood Block",,"Spice up
                                                                    ^
SyntaxError: Unexpected token ,

如何将 CSV 文件导入节点环境？

封装示例为Here

Answer 1

要解决您的第一个问题，读取包含空条目的 CSV：

使用 'fast-csv' 节点包。它将用空条目解析 csv。

回答你的第二个问题，如何将 CSV 导入节点：

你真的没有 "import" csv 文件到节点。你应该 fs.open 文件或使用 fs.createReadStream 在适当的位置读取 csv 文件。

下面是一个脚本，它使用 fs.createReadStream 解析名为 'test.csv' 的 CSV，该文件是运行脚本的上一级目录。

第一部分设置我们的程序，对将要用于存储已解析列表的对象进行基本声明。

var csv = require('fast-csv') // require fast-csv module
var fs = require('fs') // require the fs, filesystem module
var uniqueindex = 0 // just an index for our array
var dataJSON = {} // our JSON object, (make it an array if you wish)

下一节将声明一个流，该流将拦截从我们的 CSV 文件中读取的数据并对其执行操作。在这种情况下，我们拦截数据并将其存储在 JSON 对象中，然后在流完成后保存该 JSON 对象。它基本上是一个拦截数据并可以用它做它想做的事情的过滤器。

var csvStream = csv() // - uses the fast-csv module to create a csv parser
.on('data',function(data){ // - when we get data perform function(data) 
  dataJSON[uniqueindex] = data; // - store our data in a JSON object dataJSON
  uniqueindex++ // - the index of the data item in our array
})
.on('end', function(){ // - when the data stream ends perform function()
  console.log(dataJSON) // - log our whole object on console
  fs.writeFile('../test.json', // - use fs module to write a file
  JSON.stringify(dataJSON,null,4), // - turn our JSON object into string that can be written
  function(err){ // function(err) only gets performed once were done saving the file and err will be nil if there is no error
    if(err)throw err //if there's an error while saving file throw it
    console.log('data saved as JSON yay!')
  })
})

此部分从我们的 csv 文件创建所谓的 "readStream"。文件的路径是相对的。流只是一种读取文件的方式。它非常强大，因为来自一个流的数据可以通过管道传输到另一个流中。因此，我们将创建一个流，从我们的 CSV 文件中读取数据，然后将其通过管道传输到我们在第 2 部分中预定义的读取流/过滤器中。

var stream = fs.createReadStream('../test.csv')
stream.pipe(csvStream)

这将创建一个名为 'test.json' 的文件，该文件位于我们的 csv 解析脚本所在位置的上一级目录中。 test.json 将在 JSON 对象中包含已解析的 CSV 列表。代码在此处出现的顺序就是它在您制作的脚本中的出现顺序。

Node.js 导入带空白字段的 csv

Node.js import csv with blank fields

csv

require

node.js