斯坦福 NER CRF 实现是否在训练阶段使用句子?
Does the Stanford NER CRF implementation use sentences in the training phase?
我是 CRF 的新手,我的一些术语可能有偏差,请多多包涵。我假设 Stanford NER 实现了一个线性链 CRF。
令 x 为单词序列,y 为相应标签的序列。将 x 称为示例,并将 y 称为其标签。 x 的一个分量 x_i 是一个词。 y 的一个分量 y_i 是一个标签。
在训练模型时,我们为其提供如下内容:
James PERSON
lives O
in O
Chicago LOCATION
. O
Coffee O
in O
Trieste LOCATION
is O
great O
. O
模型是否使用单个句子作为示例?使用上面的数据是示例之一:<的里雅斯特的咖啡很棒。 >?这是否意味着特征函数不能依赖于前面句子中的单词?
如果确实是这样,那么模型如何确保每个示例确实是一个句子?它会做任何句子边界检测吗?可以看一下吗? 4个句子的批次?
提前谢谢你:)
两个换行符被认为是示例的边界。您的示例可以是从短语到整个文档的任何内容。所以对于你的例子,如果你想要两个句子作为两个例子:
James PERSON
lives O
in O
Chicago LOCATION
. O
Coffee O
in O
Trieste LOCATION
is O
great O
. O
我是 CRF 的新手,我的一些术语可能有偏差,请多多包涵。我假设 Stanford NER 实现了一个线性链 CRF。
令 x 为单词序列,y 为相应标签的序列。将 x 称为示例,并将 y 称为其标签。 x 的一个分量 x_i 是一个词。 y 的一个分量 y_i 是一个标签。
在训练模型时,我们为其提供如下内容:
James PERSON lives O in O Chicago LOCATION . O Coffee O in O Trieste LOCATION is O great O . O
模型是否使用单个句子作为示例?使用上面的数据是示例之一:<的里雅斯特的咖啡很棒。 >?这是否意味着特征函数不能依赖于前面句子中的单词?
如果确实是这样,那么模型如何确保每个示例确实是一个句子?它会做任何句子边界检测吗?可以看一下吗? 4个句子的批次?
提前谢谢你:)
两个换行符被认为是示例的边界。您的示例可以是从短语到整个文档的任何内容。所以对于你的例子,如果你想要两个句子作为两个例子:
James PERSON lives O in O Chicago LOCATION . O Coffee O in O Trieste LOCATION is O great O . O