除了 ECMAScript 规范中提供的上下文无关语法之外，还有其他方法可以将 JavaScript 词法化为令牌吗？

Question

我正在寻找用于将 JavaScript 字符串转换为标记的状态机表示，还有其他替代表示吗？任何状态机或自动机的表示？

Answer 1

JavaScript 不能用有限状态自动机进行分词，因为每个连续分词的目标符号由句法分析在该点的状态决定。