下推解析器扫描标记还是单个字符?

Do pushdown parsers scan tokens or single characters?

我目前对期望什么样的输入下推自动化有点困惑。我知道它们背后的概念(转换、状态、堆栈、符号、弹出等)但我真的不明白是什么:

A) 如果我们需要 a-z 和 0-9 中的所有字符,则字母表适用,因为我们正在解析标记而不是单个字符,例如典型的 101 或 ABAB 示例。

B) 下推是否接受令牌。例如:如果找到令牌 "TOK_IF",则转到下一个转换或状态。

你能告诉我A点和B点吗?我真的很困惑。

(确定性的)下推自动机可用于解析(确定性的)上下文无关语言。 可以在单个字符上定义这种语言的语法,这些字符构成要解析的文本。然而,这需要大量的状态。

因此,将关键字和标识符预解析为标记(通常由 词法分析器预解析更有效(并且更容易制定和理解语法) ) 并将这些标记视为单个实体。与使用下推自动机和大量状态来完成相同的工作相比,词法分析器的实现速度要快得多。