液态机:它是如何工作的以及如何使用它?
Liquid State Machine: How it works and how to use it?
我现在正在学习 LSM(液态状态机),我正在尝试了解它们究竟是如何用于学习的。
我对网上阅读的内容感到很困惑。我会写下我到目前为止所理解的,但它可能不正确,所以如果你能纠正我并解释什么是真的,我会很高兴:
LSM 根本没有经过训练:它们只是用许多“时间神经元”(例如 Leaky Integrate 和 Fire 神经元)初始化,而它们的阈值是随机绘制的,它们之间的连接也是如此(即一个神经元不必与其他每个神经元有共同的边缘)。
如果我们想在输入I后“学习”x个时间单位,出现Y 发生,然后我们需要用 LIF“检测器”“等待”x 个时间单位,并查看在这个特定时刻触发了哪些神经元。然后,我们可以训练一个分类器(例如前馈网络),这个特定的放电神经元子集意味着 Y 发生了。
我们可能会在我们的“液体”中使用许多“时间神经元”,所以你可能有许多不同的发射神经元子集,所以一个特定的发射神经元子集在之后的那一刻变得几乎是独一无二的在输入 I
之后,我们等待了 x 个时间单位
我完全不知道我上面写的是不是真的。我会很感激关于这个主题的解释。
从你的问题来看,你的方向似乎是正确的。无论如何,液体状态机和回声状态机是涉及计算神经科学和物理学的复杂主题,如混沌、动态动作系统、反馈系统和机器学习等主题。所以,如果你觉得难以理解也没关系。
回答您的问题:
- 液体状态机的大多数实现使用未经训练的神经元库。已经有一些尝试来训练水库,但他们没有取得巨大的成功来证明实现这一目标所需的计算能力是合理的。
(参见:Reservoir Computing Approaches to Recurrent Neural Network Training) or (The p-Delta Learning Rule for Parallel Perceptrons)
我的观点是,如果你想在模式的可分离性或泛化方面使用 Liquid 作为分类器,你可以从神经元之间的连接方式中获得更多(参见 Hazan, H. and Manevitz, L., Topological constraints and robustness in liquid state machines, Expert Systems with Applications, Volume 39, Issue 2, Pages 1597-1606, February 2012.) or (Which Model to Use for the Liquid State Machine?)
生物学方法(我认为最有趣的方法)(What Can a Neuron Learn with Spike-Timing-Dependent Plasticity? )
- 你是对的,你至少需要等到你完成输入,否则你会冒着检测到你的输入的风险,而不是因为你的输入而发生的activity,因为它应该是.
- 是的,你可以想象你的液体复杂性是 SVM 中的内核,它试图将数据点投影到某个超空间,而液体中的检测器作为试图在 类 之间分离的部分数据集。根据经验,神经元的数量和它们相互连接的方式决定了液体的复杂程度。
关于 LIF(Leaky Integrate & Fire 神经元),正如我所见(我可能是错的),这两种方法之间的最大区别在于单个单元。在液态机器中使用类似生物的神经元,而在回声状态中使用更多的模拟单元。因此,就“非常短期记忆”而言,液态方法中每个神经元都记住自己的历史,而在回声状态方法中,每个神经元仅根据当前状态做出反应,因此记忆存储在 activity单位之间。
要了解 LSM,您必须了解与 Liquid 的比较。请看下图:
- 你正在随机向水中扔石头。取决于什么样的
你扔进水里的石头,还有另一波
x 时间步后的模式。
- 关于这个波形你可以有
关于不同石头的特征的结论
- 从这个图案中你可以看出你扔了什么样的石头。
LSM 对我们的这种行为进行建模:
- 随机连接到神经元库的输入层。把它当作你扔进水里的石头
随机连接的神经元库。那些代表您的水,它以特定方式与您的石头相互作用。
- 就 LSM 而言,我们有特殊的神经元(他们试图模拟真实的神经元)。他们在时间步长上添加激活,并且仅在达到一定数量的激活时才会触发,此外还应用了代表大脑中钠钾泵的冷却因子。
- 在 x 个时间步之后,您将在那时获得尖峰神经元的模式。
解释该模式并将其用于分类的输出层。
我只想为其他读者补充2点。首先,"natrium-kalium" 泵在英语中是 sodium-potassium 泵。其次是液体状态机(LSM)和有限状态机(FSM)之间的关系(因为有些读者可能已经了解了有限状态机)。
LSM和FSM之间的关系大多只是类比。然而,LSM 的单元(神经元)可以单独建模为 FSM,关于它们是否激发动作电位(改变状态)。这样做的一个困难是每个单元及其邻居的状态变化的时间是不固定的。因此,当我们考虑所有单元的状态以及它们如何随时间变化时,我们得到一个无限转换 table,这将 LSM 置于转换系统的 class 中,而不是 FSM(也许这有点明显)。然而,我们随后添加了线性鉴别器……这是一个简单的确定性读出层,经过训练可以在 LSM 中挑选出与所需计算相对应的模式。读出系统监视单元的子集,并且通常具有明确定义的时间规则。换句话说,它忽略了很多状态转换,只对少数几个敏感。这使它有点像 FSM。
您可能会读到,LSM 中的单元组合可以形成 FSM,因此读数可以识别 FSM "virtually contained within it"。这来自一位首先将 LSM 视为计算机模型的作者(原则上您可能会阐明构成 "virtual FSM" 的单元和连接并构建一个实际的类似 FSM)。这样的陈述可能会让任何将 LSM 视为生物系统的人感到困惑,在这种情况下,最好将读数视为一个元素,该元素以忽略 high-dimensional 可变性并产生的方式选择和组合 LSM 的特征类似结果的可靠低维 FSM。
我现在正在学习 LSM(液态状态机),我正在尝试了解它们究竟是如何用于学习的。
我对网上阅读的内容感到很困惑。我会写下我到目前为止所理解的,但它可能不正确,所以如果你能纠正我并解释什么是真的,我会很高兴:
LSM 根本没有经过训练:它们只是用许多“时间神经元”(例如 Leaky Integrate 和 Fire 神经元)初始化,而它们的阈值是随机绘制的,它们之间的连接也是如此(即一个神经元不必与其他每个神经元有共同的边缘)。
如果我们想在输入I后“学习”x个时间单位,出现Y 发生,然后我们需要用 LIF“检测器”“等待”x 个时间单位,并查看在这个特定时刻触发了哪些神经元。然后,我们可以训练一个分类器(例如前馈网络),这个特定的放电神经元子集意味着 Y 发生了。
我们可能会在我们的“液体”中使用许多“时间神经元”,所以你可能有许多不同的发射神经元子集,所以一个特定的发射神经元子集在之后的那一刻变得几乎是独一无二的在输入 I
之后,我们等待了 x 个时间单位
我完全不知道我上面写的是不是真的。我会很感激关于这个主题的解释。
从你的问题来看,你的方向似乎是正确的。无论如何,液体状态机和回声状态机是涉及计算神经科学和物理学的复杂主题,如混沌、动态动作系统、反馈系统和机器学习等主题。所以,如果你觉得难以理解也没关系。
回答您的问题:
- 液体状态机的大多数实现使用未经训练的神经元库。已经有一些尝试来训练水库,但他们没有取得巨大的成功来证明实现这一目标所需的计算能力是合理的。
(参见:Reservoir Computing Approaches to Recurrent Neural Network Training) or (The p-Delta Learning Rule for Parallel Perceptrons)
我的观点是,如果你想在模式的可分离性或泛化方面使用 Liquid 作为分类器,你可以从神经元之间的连接方式中获得更多(参见 Hazan, H. and Manevitz, L., Topological constraints and robustness in liquid state machines, Expert Systems with Applications, Volume 39, Issue 2, Pages 1597-1606, February 2012.) or (Which Model to Use for the Liquid State Machine?) 生物学方法(我认为最有趣的方法)(What Can a Neuron Learn with Spike-Timing-Dependent Plasticity? ) - 你是对的,你至少需要等到你完成输入,否则你会冒着检测到你的输入的风险,而不是因为你的输入而发生的activity,因为它应该是.
- 是的,你可以想象你的液体复杂性是 SVM 中的内核,它试图将数据点投影到某个超空间,而液体中的检测器作为试图在 类 之间分离的部分数据集。根据经验,神经元的数量和它们相互连接的方式决定了液体的复杂程度。
关于 LIF(Leaky Integrate & Fire 神经元),正如我所见(我可能是错的),这两种方法之间的最大区别在于单个单元。在液态机器中使用类似生物的神经元,而在回声状态中使用更多的模拟单元。因此,就“非常短期记忆”而言,液态方法中每个神经元都记住自己的历史,而在回声状态方法中,每个神经元仅根据当前状态做出反应,因此记忆存储在 activity单位之间。
要了解 LSM,您必须了解与 Liquid 的比较。请看下图:
- 你正在随机向水中扔石头。取决于什么样的 你扔进水里的石头,还有另一波 x 时间步后的模式。
- 关于这个波形你可以有 关于不同石头的特征的结论
- 从这个图案中你可以看出你扔了什么样的石头。
LSM 对我们的这种行为进行建模:
- 随机连接到神经元库的输入层。把它当作你扔进水里的石头
随机连接的神经元库。那些代表您的水,它以特定方式与您的石头相互作用。
- 就 LSM 而言,我们有特殊的神经元(他们试图模拟真实的神经元)。他们在时间步长上添加激活,并且仅在达到一定数量的激活时才会触发,此外还应用了代表大脑中钠钾泵的冷却因子。
- 在 x 个时间步之后,您将在那时获得尖峰神经元的模式。
解释该模式并将其用于分类的输出层。
我只想为其他读者补充2点。首先,"natrium-kalium" 泵在英语中是 sodium-potassium 泵。其次是液体状态机(LSM)和有限状态机(FSM)之间的关系(因为有些读者可能已经了解了有限状态机)。
LSM和FSM之间的关系大多只是类比。然而,LSM 的单元(神经元)可以单独建模为 FSM,关于它们是否激发动作电位(改变状态)。这样做的一个困难是每个单元及其邻居的状态变化的时间是不固定的。因此,当我们考虑所有单元的状态以及它们如何随时间变化时,我们得到一个无限转换 table,这将 LSM 置于转换系统的 class 中,而不是 FSM(也许这有点明显)。然而,我们随后添加了线性鉴别器……这是一个简单的确定性读出层,经过训练可以在 LSM 中挑选出与所需计算相对应的模式。读出系统监视单元的子集,并且通常具有明确定义的时间规则。换句话说,它忽略了很多状态转换,只对少数几个敏感。这使它有点像 FSM。
您可能会读到,LSM 中的单元组合可以形成 FSM,因此读数可以识别 FSM "virtually contained within it"。这来自一位首先将 LSM 视为计算机模型的作者(原则上您可能会阐明构成 "virtual FSM" 的单元和连接并构建一个实际的类似 FSM)。这样的陈述可能会让任何将 LSM 视为生物系统的人感到困惑,在这种情况下,最好将读数视为一个元素,该元素以忽略 high-dimensional 可变性并产生的方式选择和组合 LSM 的特征类似结果的可靠低维 FSM。