在训练神经元网络时，训练和验证数据之间的损失差异有多重要？
how important is the loss difference between training and validation data at the beginning when training a neuronal network?
小问题：
训练开始时（第一个时期）验证和训练损失之间的差异是否是应该使用的数据量的良好指标？
例如，增加数据量直到开始时的差异尽可能小是不是一种好方法？它会节省我的时间和计算。
背景：
我正在研究一个非常快速过度拟合的神经元网络。在应用了许多不同的技术（如 dropouts、batch normalization、降低学习率、减小 batch size、增加数据种类、减少层数、增加过滤器大小......）后的最佳结果仍然非常糟糕。
虽然训练损失减少得很好，但验证损失过早过拟合（我的意思是过早，没有达到所需的损失，应该少很多倍）
由于使用我的数据集进行约 200 个样本的训练需要 24 小时 50 个时期，我希望在增加数据量之前找到一种方法来使用我上面描述的所有方法来对抗过度拟合。因为没有任何帮助，所以我正处于增加数据量的地步。
我在考虑有多少数据足以让我的网络消除过度拟合。我知道这不容易回答，因为它取决于数据的复杂性和我要解决的任务。因此我尝试将我的问题概括为：
简短问题的简答：否
解释：(train_loss - val_loss) 与训练模型所需的数据量之间存在相关性，但有很多其他因素可能是大的来源 (train_loss - val_loss)。例如，您的网络架构太小，因此您的模型很快就会过拟合。或者，您的验证集未反映训练数据。或者你的学习率太大了。或者...
所以我的建议是：在另一个 SO 问题中提出你的问题，然后问 "what might I be doing wrong?"
小问题： 训练开始时（第一个时期）验证和训练损失之间的差异是否是应该使用的数据量的良好指标？ 例如，增加数据量直到开始时的差异尽可能小是不是一种好方法？它会节省我的时间和计算。
背景： 我正在研究一个非常快速过度拟合的神经元网络。在应用了许多不同的技术（如 dropouts、batch normalization、降低学习率、减小 batch size、增加数据种类、减少层数、增加过滤器大小......）后的最佳结果仍然非常糟糕。 虽然训练损失减少得很好，但验证损失过早过拟合（我的意思是过早，没有达到所需的损失，应该少很多倍） 由于使用我的数据集进行约 200 个样本的训练需要 24 小时 50 个时期，我希望在增加数据量之前找到一种方法来使用我上面描述的所有方法来对抗过度拟合。因为没有任何帮助，所以我正处于增加数据量的地步。 我在考虑有多少数据足以让我的网络消除过度拟合。我知道这不容易回答，因为它取决于数据的复杂性和我要解决的任务。因此我尝试将我的问题概括为：
简短问题的简答：否
解释：(train_loss - val_loss) 与训练模型所需的数据量之间存在相关性，但有很多其他因素可能是大的来源 (train_loss - val_loss)。例如，您的网络架构太小，因此您的模型很快就会过拟合。或者，您的验证集未反映训练数据。或者你的学习率太大了。或者...
所以我的建议是：在另一个 SO 问题中提出你的问题，然后问 "what might I be doing wrong?"