具有 0,0,0 的二进制特征,在 NN 中总是 return 0.5
Binary features with 0,0,0, in NN always return 0.5
假设我们有三列,具有二进制特征 (0,1)。数据集中的一行是 0,0,0,标签为 0。
我面临的问题是:
为该行分配权重并激活 sigmoid 函数时,我将始终收到 0.5,因为零数组在任何权重上乘以 0。
如何解决这个问题?
除了乘以权重矩阵之外,您还可以添加偏差(这是神经网络中的典型做法),因此您不一定会得到零向量。您还可以添加更多隐藏层(但正如我所说,即使添加偏置向量也可以解决您提到的问题)。
假设我们有三列,具有二进制特征 (0,1)。数据集中的一行是 0,0,0,标签为 0。
我面临的问题是:
为该行分配权重并激活 sigmoid 函数时,我将始终收到 0.5,因为零数组在任何权重上乘以 0。
如何解决这个问题?
除了乘以权重矩阵之外,您还可以添加偏差(这是神经网络中的典型做法),因此您不一定会得到零向量。您还可以添加更多隐藏层(但正如我所说,即使添加偏置向量也可以解决您提到的问题)。