SpaCy 自定义 NER 模型训练中 "drop" 的含义？

Question

下面的代码是 SpaCy 的命名实体识别 (NER) 的示例训练循环。

for itn in range(100):
    random.shuffle(train_data)
    for raw_text, entity_offsets in train_data:
        doc = nlp.make_doc(raw_text)
        gold = GoldParse(doc, entities=entity_offsets)
        nlp.update([doc], [gold], drop=0.5, sgd=optimizer)
nlp.to_disk("/model")

drop 根据 spacy 是辍学率。谁能详细解释一下same的意思？

Answer 1

根据文档here, the SpaCy Entity Recognizer is a neural network that should implement the thinc.neural.Model API. The drop argument that you are talking about is something called dropout rate，这是一种优化神经网络的方法。

根据我的经验，推荐值为0.2，这意味着该模型中使用的大约 20% 的神经元将在训练过程中随机丢弃。