node.js - JSONStream 期间无限循环
node.js - infinite loop during JSONStream
我有一个 node.js 服务器在生产中冻结，它似乎是由 JSONStream 内部的无限循环引起的。这是从冻结服务器的核心转储中捕获的堆栈跟踪：
1: toString [buffer.js:~392] (this=0x1e28fb6d25c9 <a Buffer>#1#,encoding=0x266ee104121 <undefined>,start=0x266ee104121 <undefined>,end=0x266ee104121 <undefined>)
2: arguments adaptor frame: 0->3
3: write [/home/deploy/node_modules/JSONStream/node_modules/jsonparse/jsonparse.js:136] (this=0x32cc8dd5a999 <a Parser>#2#,buffer=0x32cc8dd5aa49 <a Buffer>#3#)
4: /* anonymous */ [/home/deploy/node_modules/JSONStream/index.js:~17] (this=0x32cc8dd5ab11 <a Stream>#4#,chunk=0x32cc8dd5aa49 <a Buffer>#3#)
5: write [/home/deploy/node_modules/JSONStream/node_modules/through/index.js:~24] (this=0x32cc8dd5ab11 <a Stream>#4#,data=0x32cc8dd5aa49 <a Buffer>#3#)
6: write [_stream_readable.js:~582] (this=0x266ee106c91 <JS Global Object>#5#,dest=0x32cc8dd5ab11 <a Stream>#4#,i=0,list=0x266ee104101 <null>)
7: flow [_stream_readable.js:592] (this=0x266ee106c91 <JS Global Object>#5#,src=0x32cc8dd5ac69 <an IncomingMessage>#6#)
8: /* anonymous */ [_stream_readable.js:560] (this=0x266ee106c91 <JS Global Object>#5#)
9: _tickCallback [node.js:415] (this=0x29e7331bb2a1 <a process>#7#)
如何找到这个无限循环的源头？
不幸的是，服务器 运行 正在生产中并且正在处理成千上万的请求，因此很难提供任何额外的上下文。服务器的基本功能是为其他服务发出出站 HTTP 请求。
值得注意的是，我不认为这是由内存泄漏引起的。在这些冻结事件期间，服务器的内存使用率保持不变（并且很低），而 CPU 飙升至 99%
无限循环结束的另一个证据是事件循环本身似乎已经停止。当我在 setInterval 中放置一个 console.log 时，服务器将在冻结后立即停止输出。
我们已经验证问题不是由 expired/corrupted 套接字连接引起的，方法是将最大连接数设置为 Infinity（这会禁用它们在 node.js 中的重用）
我们使用的是 JSONStream 0.7.1（其中包括默认的 jsonparse 版本 0.0.5）。我们在 JSONStream 存储库中找到 this issue，并尝试分叉 JSONParse 并仅更新到最新的 jsonparse 版本。它没有解决问题。
您的问题似乎是由 jsonstream@0.0.5 的 this line 引起的。如果不转储通过服务器的内容，我无法最终为您解决问题，但这似乎表明您的缓冲区非常大。
这也可以解释为什么你的服务器被锁定（正如你在聊天中提到的），为什么事件循环不继续以及为什么你的内存没有上天但你的 CPU做;此处可能发生的情况是您正在尝试 toString() 您的硬件根本无法完成的令人难以置信的大量字节并且它死了。
请务必报告此线索的任何进一步调查。我觉得您将在开发箱上重现该问题是不可避免的。它可以像向您的缓冲区添加一些健全性检查并确保它不超过特定大小一样简单。
以上代码部分仅在 n <= 128 时才会命中，因此如果您使用带符号的字符（例如 Unicode）或带符号的字节，那么您实际上可能会在正常功能中遇到此问题...可能值得考虑！
我有一个 node.js 服务器在生产中冻结，它似乎是由 JSONStream 内部的无限循环引起的。这是从冻结服务器的核心转储中捕获的堆栈跟踪：
1: toString [buffer.js:~392] (this=0x1e28fb6d25c9 <a Buffer>#1#,encoding=0x266ee104121 <undefined>,start=0x266ee104121 <undefined>,end=0x266ee104121 <undefined>)
2: arguments adaptor frame: 0->3
3: write [/home/deploy/node_modules/JSONStream/node_modules/jsonparse/jsonparse.js:136] (this=0x32cc8dd5a999 <a Parser>#2#,buffer=0x32cc8dd5aa49 <a Buffer>#3#)
4: /* anonymous */ [/home/deploy/node_modules/JSONStream/index.js:~17] (this=0x32cc8dd5ab11 <a Stream>#4#,chunk=0x32cc8dd5aa49 <a Buffer>#3#)
5: write [/home/deploy/node_modules/JSONStream/node_modules/through/index.js:~24] (this=0x32cc8dd5ab11 <a Stream>#4#,data=0x32cc8dd5aa49 <a Buffer>#3#)
6: write [_stream_readable.js:~582] (this=0x266ee106c91 <JS Global Object>#5#,dest=0x32cc8dd5ab11 <a Stream>#4#,i=0,list=0x266ee104101 <null>)
7: flow [_stream_readable.js:592] (this=0x266ee106c91 <JS Global Object>#5#,src=0x32cc8dd5ac69 <an IncomingMessage>#6#)
8: /* anonymous */ [_stream_readable.js:560] (this=0x266ee106c91 <JS Global Object>#5#)
9: _tickCallback [node.js:415] (this=0x29e7331bb2a1 <a process>#7#)
如何找到这个无限循环的源头？
不幸的是，服务器 运行 正在生产中并且正在处理成千上万的请求，因此很难提供任何额外的上下文。服务器的基本功能是为其他服务发出出站 HTTP 请求。
值得注意的是，我不认为这是由内存泄漏引起的。在这些冻结事件期间，服务器的内存使用率保持不变（并且很低），而 CPU 飙升至 99%
无限循环结束的另一个证据是事件循环本身似乎已经停止。当我在 setInterval 中放置一个 console.log 时，服务器将在冻结后立即停止输出。
我们已经验证问题不是由 expired/corrupted 套接字连接引起的，方法是将最大连接数设置为 Infinity（这会禁用它们在 node.js 中的重用）
我们使用的是 JSONStream 0.7.1（其中包括默认的 jsonparse 版本 0.0.5）。我们在 JSONStream 存储库中找到 this issue，并尝试分叉 JSONParse 并仅更新到最新的 jsonparse 版本。它没有解决问题。
您的问题似乎是由 jsonstream@0.0.5 的 this line 引起的。如果不转储通过服务器的内容，我无法最终为您解决问题，但这似乎表明您的缓冲区非常大。
这也可以解释为什么你的服务器被锁定（正如你在聊天中提到的），为什么事件循环不继续以及为什么你的内存没有上天但你的 CPU做;此处可能发生的情况是您正在尝试 toString() 您的硬件根本无法完成的令人难以置信的大量字节并且它死了。
请务必报告此线索的任何进一步调查。我觉得您将在开发箱上重现该问题是不可避免的。它可以像向您的缓冲区添加一些健全性检查并确保它不超过特定大小一样简单。
以上代码部分仅在 n <= 128 时才会命中，因此如果您使用带符号的字符（例如 Unicode）或带符号的字节，那么您实际上可能会在正常功能中遇到此问题...可能值得考虑！