深度神经网络，什么是 Alexnet 输出和损失函数关系？

Question

我正在尝试使用 Matconvnet DagNN 来理解 DNN。我有一个基于以下最后两层网络的问题，该网络使用欧几里得损失进行回归

net.addLayer('fc9', dagnn.Conv('size', [1 1 4096 1], 'hasBias', true, 'stride', [1,1], 'pad', [0 0 0 0]), {'drop8'}, {'prediction'},  {'conv10f'  'conv10b'});
 net.addLayer('l2_loss', dagnn.L2Loss(), {'prediction', 'label'}, {'objective'});

L2Loss 的代码是

function Y=vl_nnL2(X,c,dzdy)
 c=reshape(c,size(X));
 if nargin == 2 || (nargin == 3 && isempty(dzdy))
    diff_xc=(bsxfun(@minus, X,(c)));
    Y=diff_xc.^2;
 elseif nargin == 3 && ~isempty(dzdy)
    Y=(X-c).*dzdy;
 end
end

X是fc9层的输出，是长度为100(batch size)的特征向量，c是标签。

在损失函数中，两者如何比较？ X 是一个激活，一个不是概率的向量。我猜。 C是标签，整数值范围从..0-10。那么，如何比较和减去它们呢？不知道这两者有没有关系？
此外，反向传播如何比较 fc9 输出和标签以实现最小化？

*------------新修改的L2回归函数

function Y=vl_nnL2_(X,c,dzdy)
    c=reshape(c,size(X));
    [~,chat] = max(X,[],3) ;
    [~,lchat] = max(c,[],3) ; 
if nargin == 2 || (nargin == 3 && isempty(dzdy))
      t = (chat-lchat).^ 2 ;
     Y=sum(sum(t));
elseif nargin == 3 && ~isempty(dzdy)
  ch=squeeze(chat);
  aa1=repmat(ch',35,1);
  lch=squeeze(lchat);
  aa2=repmat(lch',35,1);
  t = (chat-lchat);
  Y = dzdy.*(aa1-aa2)*2;
Y = single(reshape(Y,size(X)));

end
end

Answer 1

"if nargin == 2 || (nargin == 3 && isempty(dzdy))" 检查是否为正向模式。

在正向模式下，您计算（预测 - 标签）。^2:

diff_xc=(bsxfun(@minus, X,(c)));
Y=diff_xc.^2;

L2损失的导数w.r.t。预测是 2*（预测 - 标签）。因此我们有

Y=(X-c).*dzdy;

在你的代码中。在这里，您的代码作者不够严谨，无法放置常量 2*。但总的来说它会起作用，因为它只是渐变的一个恒定比例因子。 dzdy 是来自下游层的梯度。如果这一层是最后一层，dzdy=1，由MatConvnet手动提供。

c 必须与 X 大小相同，因为它的回归。

更多评论即将到来。如果您还有其他问题，请告诉我。我对 MatConvNet 非常熟悉。

深度神经网络，什么是 Alexnet 输出和损失函数关系？

Deep Neural Networks, What is Alexnet output and loss function relationship?

matlab

regression

backpropagation

deep-learning

matconvnet