深度学习概念——超参数调整权重RNN/LSTM
deep learning concept - hyperparameter tuning weights RNN/LSTM
当我们构建模型并训练它时，初始权重 运行domly 初始化，除非指定（种子）。
正如我们所知，我们可以调整多种参数，例如 epochs、优化器、batch_size 等，以找到 "best" 模型。
我有一个想法是：即使我们在调整后找到了最好的模型，权重也会不同，从而产生不同的模型和结果。因此，如果我们编译并使用 "best parameters" 再次 运行 它，那么最好的模型可能不是最好的。如果我们为可重复性参数设置权重，我们不知道这些是否是最佳权重。另一方面，如果我们调整权重，那么 "best parameters" 将不再是最佳参数？我陷入了一个循环。是否有关于首先调整哪些参数而不是其他参数的一般指南？
或者整个逻辑是否存在缺陷，是我想多了？
- 我们随机初始化权重以确保每个节点的行为与其他节点不同（不对称）。
- 根据超参数（时期、批量大小等、迭代等）更新权重，直到迭代结束。最后，我们将更新后的权重称为模型。
- seed用于控制初始化的随机性。如果我没记错的话，一个好的学习算法（Objective 函数和优化器）无论种子值如何都会收敛。
- 同样，一个好的模型意味着调整所有超参数，确保模型不会欠拟合。
- 另一方面，即使是模型也不应该过拟合。
- 没有最好的参数（权重，偏差），我们需要不断调整模型直到结果令人满意，主要部分是数据处理。
当我们构建模型并训练它时，初始权重 运行domly 初始化，除非指定（种子）。
正如我们所知，我们可以调整多种参数，例如 epochs、优化器、batch_size 等，以找到 "best" 模型。
我有一个想法是：即使我们在调整后找到了最好的模型，权重也会不同，从而产生不同的模型和结果。因此，如果我们编译并使用 "best parameters" 再次 运行 它，那么最好的模型可能不是最好的。如果我们为可重复性参数设置权重，我们不知道这些是否是最佳权重。另一方面，如果我们调整权重，那么 "best parameters" 将不再是最佳参数？我陷入了一个循环。是否有关于首先调整哪些参数而不是其他参数的一般指南？
或者整个逻辑是否存在缺陷，是我想多了？
- 我们随机初始化权重以确保每个节点的行为与其他节点不同（不对称）。
- 根据超参数（时期、批量大小等、迭代等）更新权重，直到迭代结束。最后，我们将更新后的权重称为模型。
- seed用于控制初始化的随机性。如果我没记错的话，一个好的学习算法（Objective 函数和优化器）无论种子值如何都会收敛。
- 同样，一个好的模型意味着调整所有超参数，确保模型不会欠拟合。
- 另一方面，即使是模型也不应该过拟合。
- 没有最好的参数（权重，偏差），我们需要不断调整模型直到结果令人满意，主要部分是数据处理。