tf.keras.layers.Dense() 中 'linear' 激活的混淆
Confusion on the 'linear' activation in tf.keras.layers.Dense()
在 explanation on activation under Arguments 中显示
"linear" activation: a(x) = x.
令人困惑。线性激活不应该像 wx+b 那样（如果 use_bias=True）吗？
不，Dense 层本身计算 y = a(wx + b)，activation 参数所做的是更改此计算中的函数 a 以获得不同的 non-linear 行为，但是如果你需要线性行为，"cancel out" a 的唯一方法是使用线性函数 a(x) = x，所以没有对 pre-activation 的修改] 值（wx + b）。
在 explanation on activation under Arguments 中显示
"linear" activation: a(x) = x.
令人困惑。线性激活不应该像 wx+b 那样（如果 use_bias=True）吗？
不，Dense 层本身计算 y = a(wx + b)，activation 参数所做的是更改此计算中的函数 a 以获得不同的 non-linear 行为，但是如果你需要线性行为，"cancel out" a 的唯一方法是使用线性函数 a(x) = x，所以没有对 pre-activation 的修改] 值（wx + b）。