如何在tensorflow中实现句子级别的log-likelihood?

How to implement sentence-level log-likelihood in tensorflow?

我想按照中所述实现句子级对数似然 Collobert et al., p. 14.

要计算转换分数,我可以使用 CRF,但我不知道如何将它集成到 tensorflow 中。我考虑过使用 tf.contrib.crf.CrfForwardRnnCell 来计算转换分数,但是这个 class returns 的 [batch_size、num_tags] 矩阵值包含新的 alpha 值,而不是我期望的 [batch_size、num_tags、num_tags] 张量。

有没有人有如何在tensorflow中使用CRF的例子?谢谢!

这里给出了在 TensorFlow 中使用 contrib.crf 的一个很好的例子:https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/crf

值得注意的是,Collobert 等人的论文中描述的 SLL objective。 2011 年与 CRF objective 略有不同,因为 SLL 缺乏标准化(请参阅第 16 页的备注 4),但这在实践中并不重要(我只使用 CRF。)