了解损失函数

Understanding Loss Functions

我正在关注 this 关于如何设置神经网络的 pytorch 教程,但我不了解损失函数,loss = (y_pred - y).pow(2).sum().item()。为什么要使用它而不是用于计算预测 y 值的函数的导数?我也不明白那个函数是什么 returns.

那个函数是欧氏函数L2-norm。它 returns 网络输出与预期输出之间的误差平方和。

至于函数的导数,或者更好的梯度,它是由您正在使用的深度学习框架(我假设这里是 pytorch)在内部计算的,需要更新网络参数。对于大多数用例,您不需要考虑它。它的计算是完全自动的。

请注意:如果您在张量上调用 .item(),您将提取其原始值,即您得到的不再是张量,而只是一个数字。这意味着您无法从中计算梯度(调用 .backward())。