基于转换的依赖解析器如何决定在其配置阶段下一步要执行的操作?

How does a Transition-based Dependency parser decide which operation to do next in its configuration stage?

我了解该模型在其配置阶段使用了先前训练的词性标记。但是,如果大多数单词都是新的,那么解析器将如何决定其操作呢?

它咨询 oracle 以选择最可能的转换 给定点。

我想将@Quantum 的回答充实成一个详细的回答如下:

在 2014 年之前,许多解析器依赖于一组手动设计的特征模板,这种方法有两个缺点:1)它们需要大量的专业知识并且通常不完整; 2)大部分运行时间被配置阶段的特征提取部分消耗。在 Chen 和 Mannning 发表他们的论文 A Fast and Accurate Dependency Parser using Neural Networks 之后,几乎所有的解析器都依赖于神经网络。

让我们看看陈和曼宁是如何完成这项工作的。

如上图所示,神经网络的输出是经过softmax函数后的分布,那么就是一个简单的依赖于给定信息的分类问题。给出的信息主要包含三部分:栈顶和缓冲区的前3个词,栈顶两个词的两个leftmost/rightmostchildren,最左边和最右边的grandchildren;以上的POS标签;以及所有 children/grandchildren 的圆弧标签。

输入被嵌入到一个矩阵中,并通过两个矩阵(如图所示的立方函数)进行转换,成为对数,然后是网络顶部三个元素的分布。

HTH:)

参考文献:1) A Fast and Accurate Dependency Parser using Neural Networks, 2) CMU Neural Nets for NLP 2017 (12): Transition-based Dependency Parsing