词法分析器、理解文档、预处理标记
C lexer, understanding documentation, preprocessing tokens
我的目标是为合理的子集 C 构建一个解析器，现在我正处于开始阶段，正在实施词法分析器。
类似 question on the same topic pointed towards the International Standard for C (700 pages of documentation) and the Yacc grammar webpage.
的答案
我欢迎任何有助于理解文档的帮助：文档中的下图是否表示语法规则，其中符号 C -> (A, B) 表示 AB 的所有出现顺序被 C 取代？
identifier -> identifier-nondigit | (identifier,identifier-nondigit) | (identifier,digit)
identifier-nondigit -> nondigit | universal-character-name | other
digit -> 0 | 1 | 2 | ... | 9
non-digit -> _ | a | b | ... | z | A | ... | Z
我觉得我很困惑，因为文档介绍了 'preprocessing tokens'，我认为它只是源代码中字符序列的标签，没有回溯。
即类似于：
"15647 \n \t abdsfg8rg \t" -> "DWLDLW"
// D .. digits, W ... whitespace, L ... letters
似乎词法分析器正在做与解析器相同的事情（只是构建一棵树）。引入预处理令牌和令牌的原因是什么？
是否意味着应该进行处理'in two waves'？
我期待词法分析器只使用一些正则表达式和一些规则。但似乎词法分析的结果是一系列可以具有根 keyword, identifier, constant, string-literal, punctuator 的树。
感谢您的任何澄清。
如果你注意的话，你会发现这些标记是用正则语法描述的，这意味着它们也可以用正则表达式来描述。为什么标准的编辑者更喜欢一种形式主义而不是另一种形式主义是开放的猜测，你可以认为对两个部分只使用一种形式主义被认为更简单。
white space 的规则和注释暗示设计者考虑了解析器和词法分析器之间的关注点分离。您不能像在无词法分析器中那样使用描述。
请注意，预处理器是引入 preprocessing-token 的原因。 header-name 和 pp-number 之类的东西对预处理器的行为有影响。另请注意，某些标记仅在某些上下文中被识别（特别是 <header> 和 "header"，这与 "string" 略有不同）。
I think I am confused because the documentation introduces
'preprocessing tokens' which I thought would be just labels of
sequences of characters in the source produced without backtracking.
预处理标记是 C 预处理器的输入。在将 C 源代码转换为可执行文件的过程中，预处理标记流和插入的空格首先受到预处理器的操作，然后预处理标记和空格的结果流在转换为（标准的词；也许 "reinterpreted as" 更好地传达了这个想法）一串标记。 section 5.1.1.2 of the language standard.
中概述了所有这些内容
从预处理标记到标记的转换是一个非常简单的映射：
- identifier --> identifier or enumeration-constant (选择是context-敏感，但在实践中可以通过避免在语义分析之前进行区分来解决。
- pp-number --> integer-constant 或 floating-constant, 作为适当的（constant 的两个备选方案）
- character-constant --> character-constant（constant[=57= 的备选方案之一])
- 字符串文字 --> 字符串文字
- 标点 --> 标点
- 删除预处理指令后剩下的任何其他内容 --> 一个或多个单字符标记
请注意，header-name 预处理标记是一种特殊情况：每种形式的 header-name 与预处理标记的其他可能标记化之间存在歧义。最好避免将任何内容分析为 header-name 除了在 #include 指令的上下文中，然后您也不必担心转换 header-将预处理标记命名为常规标记，因为其中 none 将在删除预处理指令后继续存在。
section 6.4 of the Standard 及其小节中介绍了词法分析的其他详细信息。
It seems like the lexer is doing the same thing as the parser (just building a tree).
我不明白你是如何得出这个结论的，但词法分析和语法分析之间的区别确实是人为的。没有必要以这种方式划分语言分析过程，但事实证明它通常很方便，无论是编码还是计算。
What is the reason for introducing the preprocessing tokens and tokens?
标准 C 基本上是两种语言合二为一：一种预处理语言和 C 语言本身。早期，它们由完全不同的程序处理，预处理是可选的。预处理器对它所操作的单元有一个看法，这与 C 语法的分类并不完全一致。 Preprocessing-tokens是预处理程序的语法分析和数据的单位，而tokens是C的语法分析的单位。
Does it mean that the processing should be done 'in two waves'?
从逻辑上讲，是的。在实践中，我认为大多数编译器通过源代码将两个逻辑通道集成为一个物理通道。
我的目标是为合理的子集 C 构建一个解析器，现在我正处于开始阶段，正在实施词法分析器。 类似 question on the same topic pointed towards the International Standard for C (700 pages of documentation) and the Yacc grammar webpage.
的答案我欢迎任何有助于理解文档的帮助：文档中的下图是否表示语法规则，其中符号 C -> (A, B) 表示 AB 的所有出现顺序被 C 取代？
identifier -> identifier-nondigit | (identifier,identifier-nondigit) | (identifier,digit)
identifier-nondigit -> nondigit | universal-character-name | other
digit -> 0 | 1 | 2 | ... | 9
non-digit -> _ | a | b | ... | z | A | ... | Z
我觉得我很困惑，因为文档介绍了 'preprocessing tokens'，我认为它只是源代码中字符序列的标签，没有回溯。
即类似于：
"15647 \n \t abdsfg8rg \t" -> "DWLDLW"
// D .. digits, W ... whitespace, L ... letters
似乎词法分析器正在做与解析器相同的事情（只是构建一棵树）。引入预处理令牌和令牌的原因是什么？
是否意味着应该进行处理'in two waves'？
我期待词法分析器只使用一些正则表达式和一些规则。但似乎词法分析的结果是一系列可以具有根 keyword, identifier, constant, string-literal, punctuator 的树。
感谢您的任何澄清。
如果你注意的话，你会发现这些标记是用正则语法描述的，这意味着它们也可以用正则表达式来描述。为什么标准的编辑者更喜欢一种形式主义而不是另一种形式主义是开放的猜测，你可以认为对两个部分只使用一种形式主义被认为更简单。
white space 的规则和注释暗示设计者考虑了解析器和词法分析器之间的关注点分离。您不能像在无词法分析器中那样使用描述。
请注意，预处理器是引入 preprocessing-token 的原因。 header-name 和 pp-number 之类的东西对预处理器的行为有影响。另请注意，某些标记仅在某些上下文中被识别（特别是 <header> 和 "header"，这与 "string" 略有不同）。
I think I am confused because the documentation introduces 'preprocessing tokens' which I thought would be just labels of sequences of characters in the source produced without backtracking.
预处理标记是 C 预处理器的输入。在将 C 源代码转换为可执行文件的过程中，预处理标记流和插入的空格首先受到预处理器的操作，然后预处理标记和空格的结果流在转换为（标准的词；也许 "reinterpreted as" 更好地传达了这个想法）一串标记。 section 5.1.1.2 of the language standard.
中概述了所有这些内容从预处理标记到标记的转换是一个非常简单的映射：
- identifier --> identifier or enumeration-constant (选择是context-敏感，但在实践中可以通过避免在语义分析之前进行区分来解决。
- pp-number --> integer-constant 或 floating-constant, 作为适当的（constant 的两个备选方案）
- character-constant --> character-constant（constant[=57= 的备选方案之一])
- 字符串文字 --> 字符串文字
- 标点 --> 标点
- 删除预处理指令后剩下的任何其他内容 --> 一个或多个单字符标记
请注意，header-name 预处理标记是一种特殊情况：每种形式的 header-name 与预处理标记的其他可能标记化之间存在歧义。最好避免将任何内容分析为 header-name 除了在 #include 指令的上下文中，然后您也不必担心转换 header-将预处理标记命名为常规标记，因为其中 none 将在删除预处理指令后继续存在。
section 6.4 of the Standard 及其小节中介绍了词法分析的其他详细信息。
It seems like the lexer is doing the same thing as the parser (just building a tree).
我不明白你是如何得出这个结论的，但词法分析和语法分析之间的区别确实是人为的。没有必要以这种方式划分语言分析过程，但事实证明它通常很方便，无论是编码还是计算。
What is the reason for introducing the preprocessing tokens and tokens?
标准 C 基本上是两种语言合二为一：一种预处理语言和 C 语言本身。早期，它们由完全不同的程序处理，预处理是可选的。预处理器对它所操作的单元有一个看法，这与 C 语法的分类并不完全一致。 Preprocessing-tokens是预处理程序的语法分析和数据的单位，而tokens是C的语法分析的单位。
Does it mean that the processing should be done 'in two waves'?
从逻辑上讲，是的。在实践中，我认为大多数编译器通过源代码将两个逻辑通道集成为一个物理通道。