(OpenNMT) 西班牙语到英语模型改进

Question

我目前正在尝试使用 yaml 脚本训练西班牙语到英语的模型。我的数据集相当大，但对于初学者来说，我试图首先让 10,000 个训练集和 1000-2000 个验证集运行良好。然而，在尝试了几天之后，我认为我需要帮助，因为我的验证准确性随着训练的增加而下降。

我的数据来自 ModelFront 的 ES-EN 冠状病毒评论数据集 https://console.modelfront.com/#/evaluations/5e86e34597c1790017d4050a。我发现平行句非常准确。我正在使用数据集中的前 10,000 条平行线，跳过包含任何数字的句子。然后我将接下来的 1000 或 2000 个用于我的验证集，接下来的 1000 个用于我的测试集，只包含没有数字的句子。查看数据后，它看起来很干净，句子在各自的行中相互排成一行。

然后我用sentencepiece建立词汇模型。使用 spm_train 命令，我输入我的英语和西班牙语训练集，在参数中以逗号分隔，并输出单个 esen.model。此外，我选择使用 unigrams 和 16000

的 vocab 大小

至于我的 yaml 配置文件：这里是我指定的内容

我的源和目标训练数据（我在转换 [] 中使用“sentencepiece”为英语和西班牙语提取的 10,000 个）

我的源和目标验证数据（英语和西班牙语为 2,000，在转换 [] 中带有“sentencepiece”）

我的词汇模型 esen.model 我的源词汇模型和目标词汇模型

编码器：rnn 解码器：rnn 类型：LSTM 层数：2 bidir: true

优化：亚当学习率：0.001

训练步数：5000 有效步数：1000

其他日志记录数据。

使用 onmt_translate 开始训练后，我的训练准确度从 7.65 开始，到 5000 步结束时进入低 70s。但是，在那个时间范围内，我的验证准确率从 24 变为 19。

然后我使用 bleu 对我的测试集进行评分，得到 ~0.67 的 BP。

我注意到在尝试学习率为 1 的 sgd 之后，我的验证准确率不断提高，但最后困惑度开始回升。

我想知道我是否做错了什么会导致我的验证准确性下降而我的训练准确性上升？我只需要训练更多吗？谁能推荐其他任何东西来改进这个模型？我已经盯着它看了几天了。任何事情都值得赞赏。谢谢。

!spm_train --input=data/spanish_train,data/english_train --model_prefix=data/esen --character_coverage=1 --vocab_size=16000 --model_type=unigram

## Where the samples will be written
save_data: en-sp/run/example

## Where the vocab(s) will be written
src_vocab: en-sp/run/example.vocab.src
tgt_vocab: en-sp/run/example.vocab.tgt

## Where the model will be saved
save_model: drive/MyDrive/ESEN/model3_bpe_adam_001_layer2/model

# Prevent overwriting existing files in the folder
overwrite: False

# Corpus opts:
data:
    taus_corona:
        path_src: data/spanish_train
        path_tgt: data/english_train
        transforms: [sentencepiece, filtertoolong]
        weight: 1

    valid:
        path_src: data/spanish_valid
        path_tgt: data/english_valid
        transforms: [sentencepiece]

skip_empty_level: silent
src_subword_model: data/esen.model
tgt_subword_model: data/esen.model


# General opts
report_every: 100
train_steps: 5000
valid_steps: 1000
save_checkpoint_steps: 1000
world_size: 1
gpu_ranks: [0]

# Optimizer
optim: adam
learning_rate: 0.001

# Model
encoder_type: rnn
decoder_type: rnn
layers: 2
rnn_type: LSTM
bidir_edges: True


# Logging
tensorboard: true
tensorboard_log_dir: logs
log_file: logs/log-file.txt
verbose: True
attn_debug: True
align_debug: True
global_attention: general
global_attention_function: softmax

onmt_build_vocab -config en-sp.yaml -n_sample -1

onmt_train -config en-sp.yaml

Step 1000/ 5000; acc:  27.94; ppl: 71.88; xent: 4.27; lr: 0.00100; 13103/12039 tok/s;    157 sec
Validation perplexity: 136.446
Validation accuracy: 24.234

...

Step 4000/ 5000; acc:  61.25; ppl:  5.28; xent: 1.66; lr: 0.00100; 13584/12214 tok/s;    641 sec
Validation accuracy: 22.1157

...

Answer 1

my validation accuracy goes down the more I train while my training accuracy goes up.

听起来像是过拟合。

10K 的句子并不多。所以你所看到的是预期的。当验证集的结果停止改善时，您可以停止训练。

同样的基本动态也可以在更大范围内发生，只是需要更长的时间。

如果您的目标是训练自己的相当不错的模型，我看到了几个选项：

增加大小到1M左右
从预训练模型开始并微调
两者

对于 1，至少有 1M 行 English:Spanish 即使在过滤掉最嘈杂的内容后，您也可以从 ModelFront 获得。

对于 2，我知道 YerevaNN 的团队从 Fairseq 模型开始并使用了大约 30 万次翻译，在 WMT20 上取得了胜利。他们能够用相当有限的硬件来做到这一点。

(OpenNMT) 西班牙语到英语模型改进

(OpenNMT) Spanish to English Model Improvement

python

machine-learning

machine-translation

opennmt

sentencepiece