使用 torchtext 进行推理

Question

我想知道使用 torchtext 进行推理的正确方法是什么。

让我们假设我已经训练了模型和 dump 所有具有内置词汇表的字段。看来下一步是使用 torchtext.data.Example 加载一个示例。我应该以某种方式使用加载的字段将其数字化并创建一个迭代器。

如果有任何使用 torchtext 进行推理的简单示例，我将不胜感激。

Answer 1

对于经过训练的模型和词汇表（它是文本字段的一部分，您不必保存整个 class）：

    def read_vocab(path):
        #read vocabulary pkl 
        import pickle
        pkl_file = open(path, 'rb')
        vocab = pickle.load(pkl_file)
        pkl_file.close()
        return vocab



    def load_model_and_vocab():
        import torch
        import os.path
    
        my_path = os.path.abspath(os.path.dirname(__file__))
        vocab_path = os.path.join(my_path, vocab_file)
        weights_path = os.path.join(my_path, WEIGHTS)
    
        vocab = read_vocab(vocab_path)
        model = classifier(vocab_size=len(vocab))
        model.load_state_dict(torch.load(weights_path))
        model.eval()
        return model, vocab
    
    
    def predict(model, vocab, sentence):
        tokenized = [w.text.lower() for w in nlp(sentence)]  # tokenize the sentence
        indexed = [vocab.stoi[t] for t in tokenized]         # convert to integer sequence
        length = [len(indexed)]                              # compute no. of words
        tensor = torch.LongTensor(indexed).to('cpu')         # convert to tensor
        tensor = tensor.unsqueeze(1).T                       # reshape in form of batch,no. of words
        length_tensor = torch.LongTensor(length)             # convert to tensor
        prediction = model(tensor, length_tensor)            # prediction
        return round(1-prediction.item())

"classifier" 是我为我的模型定义的 class。

用于保存词汇表 pkl :

    def save_vocab(vocab):
        import pickle
        output = open('vocab.pkl', 'wb')
        pickle.dump(vocab, output)
        output.close()

为了在训练后保存模型，您可以使用：

    torch.save(model.state_dict(), 'saved_weights.pt')

告诉我它是否适合你！

使用 torchtext 进行推理

Using torchtext for inference

nlp

machine-learning

pytorch

torchtext