准确解析antlr4中的n个参数

Question

我正在使用带有 python3 运行时的 Antlr4。在我尝试解析的语言中，有许多操作（大约 50 个）接受 OPNAME [ parameter1, parameter2, parameter3 ]

形式的固定数量的参数

我曾经有一个语法规则是这样的：

statement: OP1 '[' NUM ']'
    | OP2 '[' NUM ',' NUM ']'
    | OP3 '[' NUM ',' NUM ',' NUM ']'
    | OP2or3 (('[' NUM ',' NUM ']')|('[' NUM ',' NUM ',' NUM ']'))
    ;

但是，为了更加清楚，我决定制作一个子规则 parameter[n] 来完全接受 n 参数。因此，我的（完整示例）语法如下所示：

grammar test;

program: (statement? NEWLINE)* EOF;

statement: OP1 parameter[1]
    | OP2 parameter[2]
    | OP3 parameter[3]
    | OP2or3 (parameter[2]|parameter[3])
    ;

parameter[n]
locals[i = 1]
    : '[' NUM 
        ( ',' NUM {$i += 1} )*
      ']' 
      {$i == $n}?
    ;



OP1     : 'OP1'     ;
OP2     : 'OP2'     ;
OP3     : 'OP3'     ;
OP2or3  : 'OP2or3'  ;

NUM     : ('0'..'9')+;
NEWLINE : '\n'      ;
WS      : [ \t\r] -> channel(1);

运行这个语法在下面testfile.txt 差不多行得通。我测试了在 OP1、OP2 和 OP3 中有或多或少的参数，如果我没有恰好对应数量的参数，那就失败了。 然而，这对 OP2or3 不起作用，它总是对 3 个参数失败。我猜 antlr 解析器首先尝试检查 2 个参数，判断失败，然后无法正确回溯（错误消息是 Error at [5:16] : rule parameter failed predicate: {$i == $n}?）。 testfile.txt 的内容：

OP1 [1] 
OP2 [32, 52]
OP3 [1, 2, 3]
OP2or3 [1, 2]
OP2or3 [1, 2, 3]

我尝试用入口处带有谓词的更明确的规则替换，但这仍然不起作用（错误消息是 Error at [5:7] : no viable alternative at input '['）

parameter[n]
    : {$n == 1}? '[' NUM ']'
    | {$n == 2}? '[' NUM ',' NUM ']'
    | {$n == 3}? '[' NUM ',' NUM ',' NUM ']'
    ;

有关信息，这是我用来测试语法的 python 代码：

import codecs
from antlr4 import *
from antlr4.error.ErrorListener import ErrorListener
from testParser import testParser as Parser
from testLexer import testLexer as Lexer

class SimpleErrorThrower(ErrorListener):
    def syntaxError(self, recognizer, offendingSymbol, line, column, msg, e):
        msg = msg.replace('\n', '\n')
        raise RuntimeError("Error at [%s:%s] : %s" % (line, column, msg))

def load_code(filename):
    return codecs.decode(open(filename, 'rb').read(), 'utf-8')

def ParseFromRule(input_string, rule_to_call='program'):
    '''Try to parse a given string (case insensitive) from a given rule.
        Raises 'AttrivuteError' if rule does not exist.
        Raises 'ParsingException' if parsing failed.
        Returns the parse tree if parsing was successfull.'''
    source = InputStream(input_string)
    lexer = Lexer(source)
    stream = CommonTokenStream(lexer)
    parser = Parser(stream)
    parser.removeErrorListeners()
    parser.addErrorListener(SimpleErrorThrower())
    parseTree = getattr(parser, rule_to_call)()
    return parseTree


if __name__ == '__main__':
    from argparse import ArgumentParser

    args = ArgumentParser()
    args.add_argument("-p", "--print", help="Print resulting tree.", action='store_true')
    args.add_argument("filename", metavar="Source filename", help="file containing the code to test.", type=str)
    options = args.parse_args()

    input_string = load_code(options.filename)
    try:
        tree = ParseFromRule(input_string, 'program')
    except RuntimeError as e:
        print(str(e))
        exit(1)

    if options.print:
        print(tree.toStringTree(recog=tree.parser))

这是我的 Makefile:

ANTLR_CP=/usr/local/bin/antlr-4.5.1-complete.jar
ANTLR=java -Xmx500M -cp "$(ANTLR_CP):$$CLASSPATH" org.antlr.v4.Tool

all: testParser.py

clean:
    rm -f *Lexer.py *Listener.py *Parser.py *.tokens *.pyc

testParser.py: *.g4
    $(ANTLR) -Dlanguage=Python3 test.g4

你知道我是否可以制定一个规则 parameter[n] 也适用于 OP2or3 吗？ 有了这个子规则真的有助于清晰，根据经常更改的规则（每隔几个月添加或删除一些运算符）

Answer 1

嗯，很抱歉打扰了任何看我问题的人，但我自己找到了答案，使用 python 魔法。也许有一天可以帮助某人。我修改了 parameter[n] 以将 int 或 tuple:

作为输入

parameter[n]
locals[i = 1]
    : '[' NUM
        ( ',' NUM {$i += 1} )*
      ']'
      {($i == $n or $i in $n)}?
    ;

注意语义谓词中的括号。 你需要把那些括号 因为它会在 python 解析器中被翻译成 not (i == n or i in n)，并且没有括号不会被正确否定（我猜可以被视为 antlr4 错误。）

因此，现在我的声明规则是：

statement: OP1 parameter[1]
    | OP2 parameter[2]
    | OP3 parameter[3]
    | OP2or3 parameter[(2, 3)]
    ;

这适用于我的测试文件：

$ python3 test_grammar.py testfile.txt -p
(program (statement OP1 (parameter [ 1 ]))
(statement OP2 (parameter [ 32 , 52 ]))
(statement OP3 (parameter [ 1 , 2 , 3 ]))
(statement OP2or3 (parameter [ 1 , 2 ]))
(statement OP2or3 (parameter [ 1 , 2 , 3 ]))
<EOF>)

准确解析antlr4中的n个参数

Parsing exactly n parameters in antlr4

python

grammar

python-3.x

antlr4