"epoch" 对于 HMM 和神经网络有不同的含义吗?

Does "epoch" have different meanings with respect to HMMs and Neural Networks?

我正在用 N 个样本句子构建一个语音转文本系统,使用隐马尔可夫模型进行重新估计。在神经网络的上下文中,我理解 epoch 的概念指的是一个完整的训练周期。我认为这意味着 "feeding the same data to the same, updating network which has different weights and biases every time" - 如果我错了请纠正我。

从相同的句子对 HMM 进行重新估计(即训练)时,相同的逻辑是否有效?换句话说,如果我有 N 个句子,我是否可以将输入样本每次重复 10 次以生成 10 * N 个样本。这是否意味着我在 HMM 上执行 10 个时期?此外,这是否真的有助于获得更好的结果?

this 论文中,我得到的印象是 HMM 上下文中的纪元指的是时间单位:

Counts represent a device-specific numeric quantity which is generated by an accelerometer for a specific time unit (epoch) (e.g. 1 to 60 sec).

如果不是时间单位,纪元至少听起来不一样。最后,我想知道:

What is epoch in the context of HMMs?

与神经网络相同,对整个数据集进行一轮处理。

How is it different from epoch in Neural Networks?

除了术语 "epoch" 不是很广泛地用于 HMM 之外没有区别。人们只是称它为 "iteration".

From this paper, I get the impression that epoch in the context of HMMs refers to a unit of time

"Epoch" 在本文中与 HMM 上下文完全无关,它是该论文特有的一个单独的想法,您不应该从论文中概括术语用法。

Considering the definition of epoch as training cycles, would multiple epochs improve re-estimation of HMMs?

对于神经网络和 HMM,都没有诸如多个 epoch 改进重新估计之类的东西。每个时期都会将准确性提高到一定程度,然后发生过度训练,验证错误开始增长,训练错误继续为零。最佳迭代次数通常取决于模型架构。 HMM 模型通常具有较少的参数并且不太容易过度训练,因此额外的 epoch 并没有那么有害。尽管如此,您仍需要执行多个 epoch 以达到最佳效果。

在语音识别中,通常是 Baum-Welch 算法的 6-7 次迭代。更少的 epochs 给你的模型不太准确,更多的 epochs 可能导致过度训练或者根本不会改进任何东西。