获取MASK位置多token词的概率

Question

根据语言模型得到标记的概率相对容易，如下面的代码片段所示。你可以得到一个模型的输出，将自己限制在屏蔽标记的输出上，然后在输出向量中找到你请求的标记的概率。但是，这仅适用于单标记词，例如分词器词汇表中本身的词。当词汇表中不存在某个单词时，分词器会将其分成确实知道的部分（请参阅示例底部）。但是由于输入语句只有一个掩码位置，而请求的 token 比这更多，我们如何才能得到它的概率呢？最终，我正在寻找一种解决方案，无论一个词的子词单元数量如何。

在下面的代码中，我添加了许多注释来解释正在发生的事情，以及打印出 print 语句的给定输出。您会看到预测 'love' 和 'hate' 等标记非常简单，因为它们在标记器的词汇表中。但是，'reprimand' 不是，因此无法在单个屏蔽位置预测它 - 它由三个子词单元组成。那么我们如何预测掩码位置中的'reprimand'呢？

from transformers import BertTokenizer, BertForMaskedLM
import torch

# init model and tokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForMaskedLM.from_pretrained('bert-base-uncased')
model.eval()
# init softmax to get probabilities later on
sm = torch.nn.Softmax(dim=0)
torch.set_grad_enabled(False)

# set sentence with MASK token, convert to token_ids
sentence = f"I {tokenizer.mask_token} you"
token_ids = tokenizer.encode(sentence, return_tensors='pt')
print(token_ids)
# tensor([[ 101, 1045,  103, 2017,  102]])
# get the position of the masked token
masked_position = (token_ids.squeeze() == tokenizer.mask_token_id).nonzero().item()

# forward
output = model(token_ids)
last_hidden_state = output[0].squeeze(0)
# only get output for masked token
# output is the size of the vocabulary
mask_hidden_state = last_hidden_state[masked_position]
# convert to probabilities (softmax)
# giving a probability for each item in the vocabulary
probs = sm(mask_hidden_state)

# get probability of token 'hate'
hate_id = tokenizer.convert_tokens_to_ids('hate')
print('hate probability', probs[hate_id].item())
# hate probability 0.008057191967964172

# get probability of token 'love'
love_id = tokenizer.convert_tokens_to_ids('love')
print('love probability', probs[love_id].item())
# love probability 0.6704086065292358

# get probability of token 'reprimand' (?)
reprimand_id = tokenizer.convert_tokens_to_ids('reprimand')
# reprimand is not in the vocabulary, so it needs to be split into subword units
print(tokenizer.convert_ids_to_tokens(reprimand_id))
# [UNK]

reprimand_id = tokenizer.encode('reprimand', add_special_tokens=False)
print(tokenizer.convert_ids_to_tokens(reprimand_id))
# ['rep', '##rim', '##and']
# but how do we now get the probability of a multi-token word in a single-token position?

Answer 1

由于字典中不存在拆分词，BERT 根本不知道它的概率，因此在标记化之前没有使用掩码。

并且你无法通过利用链规则来获得它的概率，请参阅 J.Devlin 的 response。为了说明这一点，让我们举一个更通用的例子。尝试估计位置 i 中某些二元组的概率。虽然您可以根据句子及其位置估计每个单词的概率

P(w_i|w_0, w_1... w_i-1, w_i+1, ..., w_N),

P(w_i+1|w_0, w_1... w_i, wi+2, ..., w_N),

没有办法得到二元组的概率

P(w_i,w_i+1|w_0, w_1... w_i-1, wi+2, ..., w_N)

因为 BERT 不存储此类信息。

说了这么多，您可以通过乘以看到它的各个部分的概率来非常粗略地估计您的 OOV 词的概率。所以你会得到

P("reprimand"|...) ~= P("rep"|...)*P("##rim"|...)*P("##and"|...)

既然你的子词不是常规词，而是一种特殊的词，这也不全是错的，因为它们之间的依赖关系是隐含的。

Answer 2

而不是 sentence = f"I {tokenizer.mask_token} you", 预测： "I [MASK] [MASK] you" 和 "I [MASK] [MASK] [MASK] you" 并过滤结果，删除整个单词标记链，以便您只找到合适的子词链。当然，如果您提供两个以上的周围上下文词，您将获得更好的结果。

但在开始之前，请重新考虑您的 softmax。当维度 = 0 时，它会在所有标记列和所有标记行中进行 softmax 计算——而不仅仅是您想要 softmax 概率的单个标记：

In [1]: import torch                                                                                                                      
In [2]: m = torch.nn.Softmax(dim=1) 
   ...: input = torch.randn(2, 3) 
   ...: input                                                                                                                        
Out[2]: 
tensor([[ 1.5542,  0.3776, -0.8047],
        [-0.3856,  1.1327, -0.1252]])

In [3]: m(input)                                                                                                                          
Out[3]: 
tensor([[0.7128, 0.2198, 0.0674],
        [0.1457, 0.6652, 0.1891]])

In [4]: soft = torch.nn.Softmax(dim=0) 
   ...: soft(input)                                                                                                                       
Out[4]: 
tensor([[0.8743, 0.3197, 0.3364],
        [0.1257, 0.6803, 0.6636]])

获取MASK位置多token词的概率

Get probability of multi-token word in MASK position

python

pytorch

transformer

bert-language-model

huggingface-transformers