如何比较不同型号的配置

How to compare different models configurations

我正在实现一个用于文本分类的神经网络模型。我在 RNN 和 lstm 神经网络上尝试不同的配置。

我的问题:如何比较这些配置,我应该使用训练集准确性、验证准确性还是测试集准确性来比较模型?

我将解释我最终是如何比较不同的 RNN 模型的。

首先,我使用 CPU 进行模型训练。这将确保我每个 运行 获得相同的模型参数,因为已知 GPU 计算是不确定的。

其次,我为每个 运行 使用相同的 tf 种子。确保每次运行中生成的随机变量是相同的

最后,我使用我的验证准确性来优化我的超参数。每个 运行 我都使用不同参数的组合,直到我选择验证准确度最高的模型作为我的最佳模型。