神经网络检查点?
Neural Network checkpoints?
我是神经网络的新手,我不知道要在 google 上搜索什么来解决问题,这是我的问题,如果你好心请告诉我我在找什么,
所以我正在做一个项目,随着时间的推移会有很多贡献者,每个贡献者都会在 excel 文件上写一行,然后 运行 训练数据集的代码,
如果想问的是,有没有办法保存检查点,这样每次代码都不必训练整个数据集,只需继续训练新条目而不是从零开始。
请告诉我我到底应该做什么 google。
亲切的问候
如您所料,这是非常常见的,通常称为“微调”。在您的情况下,由于数据集在训练运行之间几乎没有变化,您可以期望模型非常相似,因此您可以将权重初始化为之前最佳模型的权重,并仅重新训练几个时期,可能需要少量学习率。
人们通常会从在完全不同的数据集上训练的网络开始进行微调,因此您很可能会发现该用例而不是您的用例,但如果您保留非常相似的数据集,效果会更好.
“不断学习,不忘初心”
我是神经网络的新手,我不知道要在 google 上搜索什么来解决问题,这是我的问题,如果你好心请告诉我我在找什么,
所以我正在做一个项目,随着时间的推移会有很多贡献者,每个贡献者都会在 excel 文件上写一行,然后 运行 训练数据集的代码, 如果想问的是,有没有办法保存检查点,这样每次代码都不必训练整个数据集,只需继续训练新条目而不是从零开始。
请告诉我我到底应该做什么 google。
亲切的问候
如您所料,这是非常常见的,通常称为“微调”。在您的情况下,由于数据集在训练运行之间几乎没有变化,您可以期望模型非常相似,因此您可以将权重初始化为之前最佳模型的权重,并仅重新训练几个时期,可能需要少量学习率。
人们通常会从在完全不同的数据集上训练的网络开始进行微调,因此您很可能会发现该用例而不是您的用例,但如果您保留非常相似的数据集,效果会更好.
“不断学习,不忘初心”