使用 Irony 解析时包含空格

Question

我正在使用以下库编写解析器： https://www.nuget.org/packages/Irony

我当前的目标是解析包含纯文本行的文件。每行以空格或制表符开头。

我的语法 class 是这样的：

NonTerminal program = new NonTerminal("program");
NonTerminal textStatement = new NonTerminal("textStatement");
NonTerminal textStatements = new NonTerminal("textStatements");

FreeTextLiteral text = new FreeTextLiteral("text", "\r\n");

KeyTerm whitespace = ToTerm(" ", "whitespace");
KeyTerm tab = ToTerm("  ", "tab");
KeyTerm newline = ToTerm("\n", "newline");

textStatement.Rule = ((whitespace | tab) + text + newline);
textStatements.Rule = MakePlusRule(textStatements, textStatement);

program.Rule = textStatements;
this.Root = program;

这是目标文件的内容（不包括行数）：

----------------------
 test

----------------------

令人惊讶的是，这件事对我来说失败了，并显示以下消息：

Column 1, Line 0:
Syntax error, expected: whitespace, tab

看起来语法配置为默认跳过空格和制表符。因此，它从“t”字母开始解析，跳过了第一个“”符号。这对大多数情况都很好，但不适合这种情况。我正在尝试编写一种类似于 python 的语言，因此跟踪空格很重要。

我不希望您为我编写整个语法，只是建议一种通用方法。感谢任何帮助，谢谢！

UPD：我最终重写了 2 个这样的函数：

    public override bool IsWhitespaceOrDelimiter(char ch)
    {
        if (ch == ' ' || ch == '\t')
            return false;
        return base.IsWhitespaceOrDelimiter(ch);
    }

    public override void SkipWhitespace(ISourceStream source)
    {
        while (!source.EOF())
        {
            switch (source.PreviewChar)
            {
                //case ' ':
                //case '\t':
                //    break;
                case '\r':
                case '\n':
                case '\v':
                    if (UsesNewLine) return;
                    break;
                default:
                    return;
            }
            source.PreviewPosition++;
        }
    }

Answer 1

如果要在语法中将'space'作为显式字符处理，则需要重写IsWhitespaceOrDelimiter 方法，并且对于space return false。制表符和其他字符也一样

使用 Irony 解析时包含空格

Include whitespaces when parsing with Irony

c#

grammar

abstract-syntax-tree

bnf

irony