比较神经网络在两个特征子集上的结果
Comparing results of neural net on two subsets of features
我正在 运行 在具有 24 个特征的多变量时间序列数据集上建立 LSTM 模型。我使用几种不同的方法(方差测试、运行dom 森林提取和额外树分类器)进行了 运行 特征提取。不同的方法产生了略有不同的特征子集。我现在想在所有子集上测试我的 LSTM 模型,看看哪个能给出最好的结果。
我的问题是我的 3 个模型的 test/train RMSE 分数都非常相似,每次我 运行 我的模型得到的答案都略有不同。这个问题来自一个天真的人,他还在学习神经网络的复杂性,所以请帮助我理解:在这种情况下,你如何确定哪个模型是最好的?你能为神经网络播种吗?或者对一定数量的试验进行某种平均?
既然你提到了使用不同的特征提取方法,你得到的特征集只是略有不同,所以结果也差不多。此外,由于您的 LSTM 模型随后也获得了几乎相似的 RMSE 值,因此这些模型能够很好地概括和相似地学习并从所有数据集中提取重要信息。
最佳模型取决于您未来的数据、不同方法的计算时间和负载,以及它们在生产中的持久性。在神经网络中设置种子并不是一个好主意。基本思想是,无论模型如何开始,您的模型都应该能够达到最佳权重。如果你的模型总是得到相似的结果,在大多数情况下,这是一件好事。
我正在 运行 在具有 24 个特征的多变量时间序列数据集上建立 LSTM 模型。我使用几种不同的方法(方差测试、运行dom 森林提取和额外树分类器)进行了 运行 特征提取。不同的方法产生了略有不同的特征子集。我现在想在所有子集上测试我的 LSTM 模型,看看哪个能给出最好的结果。
我的问题是我的 3 个模型的 test/train RMSE 分数都非常相似,每次我 运行 我的模型得到的答案都略有不同。这个问题来自一个天真的人,他还在学习神经网络的复杂性,所以请帮助我理解:在这种情况下,你如何确定哪个模型是最好的?你能为神经网络播种吗?或者对一定数量的试验进行某种平均?
既然你提到了使用不同的特征提取方法,你得到的特征集只是略有不同,所以结果也差不多。此外,由于您的 LSTM 模型随后也获得了几乎相似的 RMSE 值,因此这些模型能够很好地概括和相似地学习并从所有数据集中提取重要信息。
最佳模型取决于您未来的数据、不同方法的计算时间和负载,以及它们在生产中的持久性。在神经网络中设置种子并不是一个好主意。基本思想是,无论模型如何开始,您的模型都应该能够达到最佳权重。如果你的模型总是得到相似的结果,在大多数情况下,这是一件好事。