有没有更好的结构来训练全卷积神经网络?
Is there a better structure for training Fully Convolution Neural Network?
我正在训练一个全卷积神经网络,训练输入图像为3080*16,一批给出16张图像。我这样做了 100 个纪元。
in every epoch:
after each batch:
calculate errors, do weight update, get confusion matrix
after each validation_batch
calculate errors and confusion matrix
我正在尝试提供可能的最大批量大小。
在这种情况下(当迭代次数固定时)- 您需要在更新次数和更新质量之间进行权衡。您更新网络的频率越高(批次越小)- 您可能获得的网络越好(假设您使用正确的正则化和保姆)。您获得的真实更新参数的近似值越好(批处理大小越大)- 您的网络可能越快收敛到质量解决方案,而忽略实际上可能会使您的模型恶化的更改。
设置批量大小的最佳方法是研究是否有人已经为您的任务找到了最佳批量大小,或者网格/随机搜索元优化 - 您可以在其中设置可能的批量大小的合理值并进行测试每个选项都是为了找到最佳价值。
我正在训练一个全卷积神经网络,训练输入图像为3080*16,一批给出16张图像。我这样做了 100 个纪元。
in every epoch:
after each batch:
calculate errors, do weight update, get confusion matrix
after each validation_batch
calculate errors and confusion matrix
我正在尝试提供可能的最大批量大小。
在这种情况下(当迭代次数固定时)- 您需要在更新次数和更新质量之间进行权衡。您更新网络的频率越高(批次越小)- 您可能获得的网络越好(假设您使用正确的正则化和保姆)。您获得的真实更新参数的近似值越好(批处理大小越大)- 您的网络可能越快收敛到质量解决方案,而忽略实际上可能会使您的模型恶化的更改。
设置批量大小的最佳方法是研究是否有人已经为您的任务找到了最佳批量大小,或者网格/随机搜索元优化 - 您可以在其中设置可能的批量大小的合理值并进行测试每个选项都是为了找到最佳价值。