使用 Flask-SQLAlchemy 的领域特定查询语言

Question

我正在使用 Flask 和 Flask-SQLAlchemy 编写应用程序。我希望用户能够使用域特定查询语言查询数据库，例如 parent.name = "foo" AND (name = "bar" OR age = 11).

我已经使用 Pyparsing 为这种语言编写了一个解析器：

import pyparsing as pp

query = 'parent.name = "foo" AND (name = "bar" OR age = 11)'

and_operator = pp.oneOf(['and', '&'], caseless=True)
or_operator = pp.oneOf(['or', '|'], caseless=True)

identifier = pp.Word(pp.alphas + '_', pp.alphas + '_.')
comparison_operator = pp.oneOf(['=','!=','>','>=','<', '<='])

integer = pp.Regex(r'[+-]?\d+').setParseAction(lambda t: int(t[0]))
float_ = pp.Regex(r'[+-]?\d+\.\d*').setParseAction(lambda t: float(t[0]))
string = pp.QuotedString('"')

comparison_operand = string | identifier | float_ | integer
comparison_expr = pp.Group(comparison_operand +
                           comparison_operator +
                           comparison_operand)

grammar = pp.operatorPrecedence(comparison_expr,
                                [
                                    (and_operator, 2, pp.opAssoc.LEFT),
                                    (or_operator, 2, pp.opAssoc.LEFT)
                                ])

result = grammar.parseString(query)
print(result.asList())

这给了我以下输出：

[[['parent.name', '=', 'foo'], 'and', [['name', '=', 'bar'], 'or', ['age', '=', 11]]]]

现在我不知道该怎么办了。如何动态生成 SQLAlchemy 查询？有没有图书馆可以帮助解决这个问题？生成原始 SQL 会更容易吗？

Answer 1

编写解析器是第一步。从这里开始，我建议你增强你的 operatorPrecedence 调用（顺便说一句，这个名字是旧的并且不推荐使用，现在称为 infixNotation）让 pyparsing 构建一组嵌套的节点，这对应于构建一个抽象语法树（ AST）。虽然您已经成功地让解析器工作，但我必须告诉您，下一步是相当大的一步。

想法是让解析器不仅返回字符串或转换后的整数和浮点数，还返回实际的 class 实例。它看起来像这样：

class AndOperation:
    def __init__(self, tokens):
        # tokens will look like [operand1, 'AND', operand2, 'AND', operand3, ...]
        self._operands = tokens[::2]

class OrOperation:
    def __init__(self, tokens):
        # tokens will look like [operand1, 'OR', operand2, 'OR', operand3, ...]
        self._operands = tokens[::2]

class NotOperation:
    def __init__(self, tokens):
        # tokens will look like ['NOT', operand]
        self._operands = tokens[-1]

然后将它们添加到 infixNotation 中：

AND, OR, TRUE, FALSE = map(pp.Keyword, "AND OR TRUE FALSE".split())
boolean_term = TRUE | FALSE | ~(AND | OR) + pp.pyparsing_common.identifier
boolean_expr = pp.infixNotation(boolean_term,
    [
    ('NOT', 1, pp.opAssoc.RIGHT, NotOperation),
    ('AND', 2, pp.opAssoc.LEFT, AndOperation),
    ('OR', 2, pp.opAssoc.LEFT, OrOperation),
    ])

如果不添加 class 解析操作，解析 "P AND NOT Q" 将 return:

[['P', 'AND', ['NOT', 'Q']]]

随着添加的 classes，解析 "P AND NOT Q" 会给你这样的东西：

[AndOperation('P', NotOperation('Q'))]

此时您可以选择是否要向每个 xxxOperation class 添加某种形式的 evaluate() 或 execute 方法来计算表达式，或者 render 方法，如果你只想输出一个 SQL WHERE 子句。

例如，render 用于 AndOperation 创建 SQL WHERE 语法可能如下所示：

def render(self):
    return ' AND '.join("'" + oper + "'" if isinstance(oper, str) else oper.render()
                                   for oper in self.operands)

（正如 Ilja Everilä 在他的评论中指出的那样，当心 SQL 注入问题实际上运行这样的 WHERE 子句直接 - render() 主要用于可视化和调试）

pyparsing repo examples 目录中有几个示例 (https://github.com/pyparsing/pyparsing/tree/master/examples) - 搜索 infixNotation 的用法以查看它们是如何完成的。

使用 Flask-SQLAlchemy 的领域特定查询语言

Domain specific query language with Flask-SQLAlchemy

python

dsl

sqlalchemy

pyparsing

flask-sqlalchemy