解释 Python 3.6 中的 AST:isinstance vs. monkey-patching vs. visit_NodeType vs. macros?
Interpreting ASTs in Python 3.6: isinstance vs. monkey-patching vs. visit_NodeType vs. macros?
假设我想写一个微型解释器
可以用二元运算评估表达式
Plus
、一元运算Negate
和整型常量
我目前只对 AST 的解释感兴趣,
所以为了简单起见,让我们跳过标记化和解析。
在Haskell中,有一种或多或少的规范方法:
data Ast = Plus Ast Ast | Negate Ast | IntConst Int
ev :: Ast -> Int
ev (Plus a b) = (ev a) + (ev b)
ev (Negate x) = - (ev x)
ev (IntConst i) = i
main = print $ show $ ev $ (Plus (IntConst 50) (Negate $ IntConst 8))
现在,Python 3.6 似乎没有代数数据类型。我的问题是
似乎有许多可能的解决方法。最明显的一个
正在使用 isinstance
:
class Plus:
def __init__(self, first, second):
self.first = first
self.second = second
class Negate:
def __init__(self, first):
self.first = first
class IntConst:
def __init__(self, value):
self.value = value
def ev(ast):
if isinstance(ast, Plus):
return ev(ast.first) + ev(ast.second)
elif isinstance(ast, Negate):
return - ev(ast.first)
elif isinstance(ast, IntConst):
return ast.value
print(ev(Plus(IntConst(50), Negate(IntConst(8)))))
这可以正常工作并按预期打印 42
,但看起来有些嘈杂。
这里还有几个选项,但每个选项都有一些缺点:
- 使用猴子补丁:例如this example
定义一堆
???_execute
解释器中的方法,然后将它们附加到 classes
代表 AST 的元素。这看起来很可怕
对我来说(我不想知道如果我尝试执行会发生什么
两个独立的 ASTs 和两个不同的解释器并行:一切都会
休息,对吧?)。
- 定义一个generic
NodeVisitor
对于每种类型的 AST 节点都有一个 visit_???
方法,然后进行一些调度
从字符串中粘贴正确的方法名称和 class 的名称
传递给 visit
方法的实例。这似乎更健壮,但我不喜欢
方法名称是永久重建的:解释器应该专注于 AST,
而不是生成自己的源代码(方法名称)。
- 使用一些 apparently can generate case-classes 的额外宏小工具。我现在
不想使用任何第三方工具,我想要一点点
尽可能独立于其他所有内容的脚本。
我没有找到 this related question 的答案
令人满意,因为唯一的答案只是链接到一些外部工具,
而且不再维护。
那么,在 Python 3.6.x 中是否有一些标准的方法来为 AST 定义解释器
没有上述缺点?还是我应该坚持 isinstance
?或者实现很好的旧 Java 风格 Visitor
(不确定它是否被认为是 pythonic)?
编辑
使用@juanpa.arrivillaga提出的functools
,我想出了以下内容:
使用collections.namedtuple
和functools.singledispatch
:
from collections import namedtuple
from functools import singledispatch
Plus = namedtuple('Plus', ['left', 'right'])
Negate = namedtuple('Negate', ['arg'])
IntConst = namedtuple('IntConst', ['value'])
@singledispatch
def ev(x): raise NotImplementedError("not exhaustive: %r" % (type(x)))
ev.register(Plus, lambda p: ev(p.left) + ev(p.right))
ev.register(Negate, lambda n: -ev(n.arg))
ev.register(IntConst, lambda c: c.value)
print(ev(Plus(IntConst(50), Negate(IntConst(8)))))
但是,如果 ev
是一个方法,它似乎不起作用,因为它无法在 self
参数上分派(参见 this related question),所以我只能得到一个函数ev
,但没有代表interperter的实例。
如果您正在寻找更简洁的代码,我认为 functools.singledispatch
装饰器适用于这种情况:
import functools
class Plus:
def __init__(self, first, second):
self.first = first
self.second = second
class Negate:
def __init__(self, first):
self.first = first
class IntConst:
def __init__(self, value):
self.value = value
@functools.singledispatch
def ev(ast):
raise NotImplementedError('Unsupported type')
@ev.register(Plus)
def _(ast):
return ev(ast.first) + ev(ast.second)
@ev.register(Negate)
def _(ast):
return -ev(ast.first)
@ev.register(IntConst)
def _(ast):
return ast.value
print(ev(Plus(IntConst(50), Negate(IntConst(8)))))
假设我想写一个微型解释器
可以用二元运算评估表达式
Plus
、一元运算Negate
和整型常量
我目前只对 AST 的解释感兴趣, 所以为了简单起见,让我们跳过标记化和解析。
在Haskell中,有一种或多或少的规范方法:
data Ast = Plus Ast Ast | Negate Ast | IntConst Int
ev :: Ast -> Int
ev (Plus a b) = (ev a) + (ev b)
ev (Negate x) = - (ev x)
ev (IntConst i) = i
main = print $ show $ ev $ (Plus (IntConst 50) (Negate $ IntConst 8))
现在,Python 3.6 似乎没有代数数据类型。我的问题是
似乎有许多可能的解决方法。最明显的一个
正在使用 isinstance
:
class Plus:
def __init__(self, first, second):
self.first = first
self.second = second
class Negate:
def __init__(self, first):
self.first = first
class IntConst:
def __init__(self, value):
self.value = value
def ev(ast):
if isinstance(ast, Plus):
return ev(ast.first) + ev(ast.second)
elif isinstance(ast, Negate):
return - ev(ast.first)
elif isinstance(ast, IntConst):
return ast.value
print(ev(Plus(IntConst(50), Negate(IntConst(8)))))
这可以正常工作并按预期打印 42
,但看起来有些嘈杂。
这里还有几个选项,但每个选项都有一些缺点:
- 使用猴子补丁:例如this example
定义一堆
???_execute
解释器中的方法,然后将它们附加到 classes 代表 AST 的元素。这看起来很可怕 对我来说(我不想知道如果我尝试执行会发生什么 两个独立的 ASTs 和两个不同的解释器并行:一切都会 休息,对吧?)。 - 定义一个generic
NodeVisitor
对于每种类型的 AST 节点都有一个visit_???
方法,然后进行一些调度 从字符串中粘贴正确的方法名称和 class 的名称 传递给visit
方法的实例。这似乎更健壮,但我不喜欢 方法名称是永久重建的:解释器应该专注于 AST, 而不是生成自己的源代码(方法名称)。 - 使用一些 apparently can generate case-classes 的额外宏小工具。我现在 不想使用任何第三方工具,我想要一点点 尽可能独立于其他所有内容的脚本。
我没有找到 this related question 的答案 令人满意,因为唯一的答案只是链接到一些外部工具, 而且不再维护。
那么,在 Python 3.6.x 中是否有一些标准的方法来为 AST 定义解释器
没有上述缺点?还是我应该坚持 isinstance
?或者实现很好的旧 Java 风格 Visitor
(不确定它是否被认为是 pythonic)?
编辑
使用@juanpa.arrivillaga提出的functools
,我想出了以下内容:
使用
collections.namedtuple
和functools.singledispatch
:from collections import namedtuple from functools import singledispatch Plus = namedtuple('Plus', ['left', 'right']) Negate = namedtuple('Negate', ['arg']) IntConst = namedtuple('IntConst', ['value']) @singledispatch def ev(x): raise NotImplementedError("not exhaustive: %r" % (type(x))) ev.register(Plus, lambda p: ev(p.left) + ev(p.right)) ev.register(Negate, lambda n: -ev(n.arg)) ev.register(IntConst, lambda c: c.value) print(ev(Plus(IntConst(50), Negate(IntConst(8)))))
但是,如果
ev
是一个方法,它似乎不起作用,因为它无法在self
参数上分派(参见 this related question),所以我只能得到一个函数ev
,但没有代表interperter的实例。
如果您正在寻找更简洁的代码,我认为 functools.singledispatch
装饰器适用于这种情况:
import functools
class Plus:
def __init__(self, first, second):
self.first = first
self.second = second
class Negate:
def __init__(self, first):
self.first = first
class IntConst:
def __init__(self, value):
self.value = value
@functools.singledispatch
def ev(ast):
raise NotImplementedError('Unsupported type')
@ev.register(Plus)
def _(ast):
return ev(ast.first) + ev(ast.second)
@ev.register(Negate)
def _(ast):
return -ev(ast.first)
@ev.register(IntConst)
def _(ast):
return ast.value
print(ev(Plus(IntConst(50), Negate(IntConst(8)))))