如何读取每个对象的 JSON 个对象流

Question

我有一个二进制应用程序，它生成连续的 json 对象流（不是 json 对象的数组）。 Json 对象有时可以跨越多行（仍然是一个有效的 json 对象，但经过了美化）。

我可以连接到这个流并毫无问题地阅读它：

var child = require('child_process').spawn('binary', ['arg','arg']);

child.stdout.on('data', data => {
  console.log(data);
});

流是缓冲区并在需要时发出数据事件，因此我使用 readline 模块来将缓冲区解析为行并且它可以工作（我能够 JSON.parse() 该行）用于Json 个不跨越多行的对象。

最佳解决方案是监听 return 单个 json 对象的事件，例如：

child.on('json', object => {

});

我注意到流节点文档中的 objectMode 选项，但是我得到的是缓冲区格式的流，所以我相信我无法使用它。

查看了 pixl-json-stream、json-stream 上的 npm，但我认为 none 这些符合目的。有单簧管对象流，但需要根据事件从头开始构建 json 对象。

我无法控制 json 对象流，大多数时候一个对象在一行中，但是 10-20% 的时间 json 对象在多行中（\n 作为 EOL）对象之间没有分隔符。每个新对象始终在新行开始。

示例流：

{ "a": "a", "b":"b" }
{ "a": "x",
  "b": "y", "c": "z"
}
{ "a": "a", "b":"b" }

肯定已经有解决方案了，我只是遗漏了一些明显的东西。宁愿找到合适的模块然后用正则表达式破解流解析器来处理这种情况。

Answer 1

我建议尝试解析每一行：

const readline = require('readline');

const rl = readline.createInterface({
 input: child.stdout
});

var tmp = ''
rl.on('line', function(line) {
  tmp += line
  try {
    var obj = JSON.parse(tmp)
    child.emit('json', obj)
    tmp = ''
  } catch(_) {
    // JSON.parse may fail if JSON is not complete yet
  }
})

child.on('json', function(obj) {
  console.log(obj)
})

由于 child 是一个 EventEmitter，因此只需调用 child.emit('json', obj).

Answer 2

有同样的要求，我不愿意强制要求换行符支持 readline，需要能够处理在流中间开始读取（可能是 JSON 文档的中间），并且不喜欢不断地解析和检查错误（似乎效率低下）。

因此我更喜欢使用 clarinet sax 解析器，收集文档并在整个 JSON 文档被解析后发出 doc 事件。

我刚刚将此 class 发布到 NPM

https://www.npmjs.com/package/json-doc-stream

如何读取每个对象的 JSON 个对象流

How to read stream of JSON objects per object

javascript

node.js

jsonstream