"epoch" 对于 HMM 和神经网络有不同的含义吗?
Does "epoch" have different meanings with respect to HMMs and Neural Networks?
我正在用 N
个样本句子构建一个语音转文本系统,使用隐马尔可夫模型进行重新估计。在神经网络的上下文中,我理解 epoch 的概念指的是一个完整的训练周期。我认为这意味着 "feeding the same data to the same, updating network which has different weights and biases every time" - 如果我错了请纠正我。
从相同的句子对 HMM 进行重新估计(即训练)时,相同的逻辑是否有效?换句话说,如果我有 N 个句子,我是否可以将输入样本每次重复 10 次以生成 10 * N
个样本。这是否意味着我在 HMM 上执行 10 个时期?此外,这是否真的有助于获得更好的结果?
从 this 论文中,我得到的印象是 HMM 上下文中的纪元指的是时间单位:
Counts represent a device-specific numeric quantity which is generated
by an accelerometer for a specific time unit (epoch) (e.g. 1 to 60
sec).
如果不是时间单位,纪元至少听起来不一样。最后,我想知道:
- HMM 上下文中的 epoch 是什么?
- 它与
epoch 神经网络?
- 考虑将 epoch 定义为训练周期,多个 epochs 会改进对
HMM ?
What is epoch in the context of HMMs?
与神经网络相同,对整个数据集进行一轮处理。
How is it different from epoch in Neural Networks?
除了术语 "epoch" 不是很广泛地用于 HMM 之外没有区别。人们只是称它为 "iteration".
From this paper, I get the impression that epoch in the context of HMMs refers to a unit of time
"Epoch" 在本文中与 HMM 上下文完全无关,它是该论文特有的一个单独的想法,您不应该从论文中概括术语用法。
Considering the definition of epoch as training cycles, would multiple epochs improve re-estimation of HMMs?
对于神经网络和 HMM,都没有诸如多个 epoch 改进重新估计之类的东西。每个时期都会将准确性提高到一定程度,然后发生过度训练,验证错误开始增长,训练错误继续为零。最佳迭代次数通常取决于模型架构。 HMM 模型通常具有较少的参数并且不太容易过度训练,因此额外的 epoch 并没有那么有害。尽管如此,您仍需要执行多个 epoch 以达到最佳效果。
在语音识别中,通常是 Baum-Welch 算法的 6-7 次迭代。更少的 epochs 给你的模型不太准确,更多的 epochs 可能导致过度训练或者根本不会改进任何东西。
我正在用 N
个样本句子构建一个语音转文本系统,使用隐马尔可夫模型进行重新估计。在神经网络的上下文中,我理解 epoch 的概念指的是一个完整的训练周期。我认为这意味着 "feeding the same data to the same, updating network which has different weights and biases every time" - 如果我错了请纠正我。
从相同的句子对 HMM 进行重新估计(即训练)时,相同的逻辑是否有效?换句话说,如果我有 N 个句子,我是否可以将输入样本每次重复 10 次以生成 10 * N
个样本。这是否意味着我在 HMM 上执行 10 个时期?此外,这是否真的有助于获得更好的结果?
从 this 论文中,我得到的印象是 HMM 上下文中的纪元指的是时间单位:
Counts represent a device-specific numeric quantity which is generated by an accelerometer for a specific time unit (epoch) (e.g. 1 to 60 sec).
如果不是时间单位,纪元至少听起来不一样。最后,我想知道:
- HMM 上下文中的 epoch 是什么?
- 它与 epoch 神经网络?
- 考虑将 epoch 定义为训练周期,多个 epochs 会改进对 HMM ?
What is epoch in the context of HMMs?
与神经网络相同,对整个数据集进行一轮处理。
How is it different from epoch in Neural Networks?
除了术语 "epoch" 不是很广泛地用于 HMM 之外没有区别。人们只是称它为 "iteration".
From this paper, I get the impression that epoch in the context of HMMs refers to a unit of time
"Epoch" 在本文中与 HMM 上下文完全无关,它是该论文特有的一个单独的想法,您不应该从论文中概括术语用法。
Considering the definition of epoch as training cycles, would multiple epochs improve re-estimation of HMMs?
对于神经网络和 HMM,都没有诸如多个 epoch 改进重新估计之类的东西。每个时期都会将准确性提高到一定程度,然后发生过度训练,验证错误开始增长,训练错误继续为零。最佳迭代次数通常取决于模型架构。 HMM 模型通常具有较少的参数并且不太容易过度训练,因此额外的 epoch 并没有那么有害。尽管如此,您仍需要执行多个 epoch 以达到最佳效果。
在语音识别中,通常是 Baum-Welch 算法的 6-7 次迭代。更少的 epochs 给你的模型不太准确,更多的 epochs 可能导致过度训练或者根本不会改进任何东西。