（单层）PyTorch 中的感知器，收敛性差

Question

我正在尝试使用 PyTorch (v0.4.0) 开发一个简单的单层感知器来分类和布尔运算。我想通过使用 autograd 来开发它来计算权重和偏差的梯度，然后以 SGD 的方式更新它们。

代码很简单，如下：

# AND points and labels
data = torch.tensor([
    [0, 0],
    [0, 1],
    [1, 0],
    [1, 1]
    ], dtype=torch.float32)
labels = torch.tensor([0,0,0,1], dtype=torch.float32)

weights = torch.zeros(2, dtype=torch.float32, requires_grad=True)
bias = torch.zeros(1, requires_grad=True)
losses = []
epochs = 100
eta = 0.01
for epoch in range(epochs):
    total_loss = 0
    for idx in range(4):
        # take current input
        X = data[idx,:]
        y = labels[idx]

        # compute output and loss
        out = torch.add(torch.dot(weights, X), bias)
        loss = (out-y).pow(2)
        total_loss += loss.item()
        # backpropagation
        loss.backward()

        # compute accuracy and update parameters
        with torch.no_grad():
            weights -= eta * weights.grad
            bias -= eta * bias.grad
            # reset gradient to zero
            weights.grad.zero_()
            bias.grad.zero_()
    losses.append(total_loss)

模型收敛，从学习曲线可以看出但由此产生的飞机是：

准确率为 50%。

我尝试使用不同的初始参数，也尝试使用 PyTorch 的 SGD 优化器，但没有任何改变。我知道 MSE 是一个回归损失，但我不认为问题在那里。

有什么想法吗？

更新平面是用这两行代码计算的

xr = np.linspace(0, 1, 10)
yr = (-1 / weights[1].item()) * (weights[0].item() * xr  + bias.item())
plt.plot(xr,yr,'-')

Answer 1

我设法通过两种不同的方式解决了这个问题：

方法 1 - 更改 -1 和 1 中的标签
只需将标签从 (0, 1) 更改为 (-1, 1) 即可正确计算平面。

因此，新标签（相同数据）是：

labels = torch.tensor([-1,-1,-1,1], dtype=torch.float32)

方法二-out后加一个sigmoid函数
有(0, 1)标签，在计算出来后加一个sigmoid函数，这样：

out = torch.add(torch.dot(weights, X), bias)
out = torch.sigmoid(out)

我认为方法 1 说明了感知器的符号函数，因为计划必须根据输出的符号来区分点。
方法 2 通过使用压缩函数将此推理适用于 (0,1) 标签。
这些只是暂时的、部分的解释。尝试在下面评论更准确的。

Answer 2

您用来计算平面的方程式

yr = (-1 / weights[1].item()) * (weights[0].item() * xr  + bias.item())

是在y_i = [+1, -1]的情况下推导出来的，并且有一个符号函数：它是通过寻找分隔正例和负例的平面来计算的。如果您更改目标，则此假设不再有效。

如果你画这个：

x1 = np.linspace(0, 1, 10)
x2 = np.linspace(0, 1, 10)
X, Y = np.meshgrid(x1, x2)
w1, w2 = weights.detach().numpy()[0, 0], weights.detach().numpy()[1, 0]
b = bias.detach().numpy()[0]
Z = w1*X + w2*Y + b

这是正确的 3D 平面，你得到正确的分离

如果你用一个取决于标签平均值的因子来抵消，你可以用你的公式得到正确的分离，比如：

yr = (-1 / weights[1].item()) * (weights[0].item() * xr  + bias.item() - 0.5)

但我无法正式证明它的合理性。

（单层）PyTorch 中的感知器，收敛性差

(Single Layer) Perceptron in PyTorch, bad convergence

pytorch

perceptron