如何在 Python3 中捕获 ANTLR4 中的无关输入？

Question

是的，这几乎是的副本 - 但在 Java 的情况下，我需要 Python 的解决方案，并移植 Java ] 解决方案对我不起作用！

ANTLR4 正在向控制台写入以下“错误”。我希望这会导致硬停止，但解析器会继续并最终重新同步：

line 12:28 extraneous input 'FREDDY' expecting {'AS', ...

我希望这是一个致命错误。

所以，我定义了自己的错误侦听器，并覆盖了所有 4 个方法：

class MyErrorListener( ErrorListener ):

    __slots__ = [ 'file_name' ]
    
    def __init__(self, file_name="<stdin>"):
        self.file_name = file_name

    def syntaxError(self, recognizer, offendingSymbol, line, column, msg, e):
        print(f"{self.file_name} {line}:{column} {msg[0:min(80,len(msg)-1)]}", file=sys.stderr)
        sys.exit(1)
        
    def reportAmbiguity(self, recognizer, dfa, startIndex, stopIndex, exact, ambigAlts, configs):
        print(f"{self.file_name} {startIndex}-{stopIndex} reportAmbiguity {ambigAlts}", file=sys.stderr)
        sys.exit(1)

    def reportAttemptingFullContext(self, recognizer, dfa, startIndex, stopIndex, conflictingAlts, configs):
        print(f"{self.file_name} {startIndex}-{stopIndex} conflictingAlts {conflictingAlts}", file=sys.stderr)
        sys.exit(1)

    def reportContextSensitivity(self, recognizer, dfa, startIndex, stopIndex, prediction, configs):
        print(f"{self.file_name} {startIndex}-{stopIndex} ContextSensitivity {prediction}", file=sys.stderr)
        sys.exit(1)

我创建了我的词法分析器，删除了默认的控制台错误侦听器，并将我的添加到：

        st = InputStream(upper_case)
        lexer:PlSqlLexer = PlSqlLexer(st)
        # Add your error listener to the lexer if required
        lexer.removeErrorListeners()
        lexer.addErrorListener( MyErrorListener(f) )
        stream = CommonTokenStream(lexer)
        parser = PlSqlParser(stream)
        tree = parser.sql_script()
        printer = PlSqlPrintListener(txt)
        walker = ParseTreeWalker()
        walker.walk(printer, tree)

而这个是捕获了一些错误，例如：

sql_parser.py 1:0 token recognition error at: '"""\n

（那是我将 Python 程序输入到 SQL 解析器中 - 当然它不应该工作！）

但是我的错误列表器没有捕捉到我在顶部报告的错误。

有什么建议吗？

ANTLR 解析器生成器版本 4.9.2
Python 3.7.3
antlr4-python3-runtime v4.9.2

Answer 1

解决办法； Lexer 和 Parser 都是“识别器”。识别器是听众收听的地方。

因此，我们有两种类型的错误，Lexing 错误和 Parsing 错误。我只是将我的侦听器附加到 Lexer，我还需要将它附加到 Parser。修改后的代码：

        ...
        lexer:PlSqlLexer = PlSqlLexer(st)
        # Add your error listener to the lexer if required
        lexer.removeErrorListeners()
        lexer.addErrorListener( my_listener )
        
        stream = CommonTokenStream(lexer)
        
        parser = PlSqlParser(stream)
        # Add your error listener to the _parser_ if required
        parser.removeErrorListeners()
        parser.addErrorListener( my_listener )
        ...

如何在 Python3 中捕获 ANTLR4 中的无关输入？

How to catch extraneous input in ANTLR4 in Python3?

python

python-3.x

antlr4