机器学习中的激活函数
Activation Function in Machine learning
机器学习中的激活函数是什么意思。我浏览了大部分文章和视频,每个人都陈述或将其与神经网络进行比较。我是机器学习的新手,对深度学习和神经网络不太熟悉。那么,任何人都可以向我解释激活函数到底是什么吗?而不是用神经网络解释。在学习用于逻辑回归的 Sigmoid 函数时,我遇到了这种歧义。
激活函数对于人工神经网络学习和理解非常复杂的事物非常重要,Non-linear 输入和响应之间的复杂函数映射 variable.They 引入 non-linear 属性我们Network.Their的主要目的是将A-NN中节点的输入信号转换为输出信号。该输出信号现在用作堆栈中下一层的输入。
特别是在 A-NN 中,我们对输入 (X) 及其对应的权重 (W) 求和,然后对其应用激活函数 f(x) 以获得该层的输出并进行馈送它作为下一层的输入。
如果不提及一些自动学习,就很难描述激活函数,因为这正是它们的应用,以及集体术语背后的基本原理。它们帮助我们将学习重点放在一系列功能转换中。我会尽量减少描述的复杂性。
非常简单,activation function 是一种过滤器,可将输出信号(一系列值)从其当前形式更改为我们发现更多 "active" 或对当前目的有用的形式。
例如,一个非常简单的激活函数是 cut-off 大学录取分数。我的大学要求 SAT 的每个部分至少达到 500 分。因此,任何申请人都会通过此过滤器:如果他们不满足该要求,则 "admission score" 将被降为零。这"activates"其他候选人。
另一个常见的函数是你研究过的 sigmoid:这个想法是区分明显优秀的值(将它们映射到接近 1)和明显不受欢迎的值(将它们映射到接近 -1),并保留区分或区分的能力了解中间的那些(将它们映射到具有对进一步工作有用的渐变的东西)。
第三种类型可能会突出光谱顶端的差异——比如,足球进球和助攻。在尝试判断球员之间的相对技术水平时,我们必须考虑:一个赛季 15 到 18 个进球与 0 到 3 个进球之间的差异是否相同?一些人认为,数字越大表明得分技巧的差异越大:得分越多,对手就越专注于阻止你。此外,我们可能需要考虑指标中的一点点 "noise":一个赛季的前两个进球并没有真正体现出多少。
在这种情况下,我们可能会为目标g
选择一个激活函数,例如
1.2 ^ max(0, g-2)
然后将此评估添加到其他因素以获得玩家的指标。
这是否有助于为您解释事情?
简而言之,激活函数是添加到人工神经网络中以帮助网络学习数据中的复杂模式的函数。与我们大脑中的基于神经元的模型相比,激活函数最终决定将什么发射到下一个神经元。这也正是激活函数在 ANN 中所做的。它接收前一个单元格的输出信号,并将其转换成某种形式,可以作为下一个单元格的输入。
机器学习中的激活函数是什么意思。我浏览了大部分文章和视频,每个人都陈述或将其与神经网络进行比较。我是机器学习的新手,对深度学习和神经网络不太熟悉。那么,任何人都可以向我解释激活函数到底是什么吗?而不是用神经网络解释。在学习用于逻辑回归的 Sigmoid 函数时,我遇到了这种歧义。
激活函数对于人工神经网络学习和理解非常复杂的事物非常重要,Non-linear 输入和响应之间的复杂函数映射 variable.They 引入 non-linear 属性我们Network.Their的主要目的是将A-NN中节点的输入信号转换为输出信号。该输出信号现在用作堆栈中下一层的输入。
特别是在 A-NN 中,我们对输入 (X) 及其对应的权重 (W) 求和,然后对其应用激活函数 f(x) 以获得该层的输出并进行馈送它作为下一层的输入。
如果不提及一些自动学习,就很难描述激活函数,因为这正是它们的应用,以及集体术语背后的基本原理。它们帮助我们将学习重点放在一系列功能转换中。我会尽量减少描述的复杂性。
非常简单,activation function 是一种过滤器,可将输出信号(一系列值)从其当前形式更改为我们发现更多 "active" 或对当前目的有用的形式。
例如,一个非常简单的激活函数是 cut-off 大学录取分数。我的大学要求 SAT 的每个部分至少达到 500 分。因此,任何申请人都会通过此过滤器:如果他们不满足该要求,则 "admission score" 将被降为零。这"activates"其他候选人。
另一个常见的函数是你研究过的 sigmoid:这个想法是区分明显优秀的值(将它们映射到接近 1)和明显不受欢迎的值(将它们映射到接近 -1),并保留区分或区分的能力了解中间的那些(将它们映射到具有对进一步工作有用的渐变的东西)。
第三种类型可能会突出光谱顶端的差异——比如,足球进球和助攻。在尝试判断球员之间的相对技术水平时,我们必须考虑:一个赛季 15 到 18 个进球与 0 到 3 个进球之间的差异是否相同?一些人认为,数字越大表明得分技巧的差异越大:得分越多,对手就越专注于阻止你。此外,我们可能需要考虑指标中的一点点 "noise":一个赛季的前两个进球并没有真正体现出多少。
在这种情况下,我们可能会为目标g
选择一个激活函数,例如
1.2 ^ max(0, g-2)
然后将此评估添加到其他因素以获得玩家的指标。
这是否有助于为您解释事情?
简而言之,激活函数是添加到人工神经网络中以帮助网络学习数据中的复杂模式的函数。与我们大脑中的基于神经元的模型相比,激活函数最终决定将什么发射到下一个神经元。这也正是激活函数在 ANN 中所做的。它接收前一个单元格的输出信号,并将其转换成某种形式,可以作为下一个单元格的输入。