以下计算softmax导数的代码提高性能的技巧

Question

编辑：添加函数 header

function backward(l::SoftMax, DLDY::Array{Float64}; kwargs...)
    # credits: https://stats.stackexchange.com/questions/79454/softmax-layer-in-a-neural-network?newreg=d1e89b443dd346ae8bccaf038a944221
    m,n =size(l.x)

    ly = Array{Float64}(n)
    for batch=1:m
      ly = l.y[batch,:]

      for i=1:n
        li = ly[i]
        l.jacobian[:,i] = -li * ly
        l.jacobian[i,i] = li*(1-li)
      end

      # l.jacobian = ly'.*repmat(ly, 1, n)
      # for i=1:n
      #   li = l.y[batch,i]
      #   l.jacobian[i,i] = li*(1.0-li)
      # end

      # # n x 1 = n x n * n x 1
      l.dldx[batch,:] = l.jacobian * DLDY[batch,:]
    end

    return l.dldx

end

以上是我的 softmax 层后向函数的代码。这个线程 https://stats.stackexchange.com/questions/79454/softmax-layer-in-a-neural-network?newreg=d1e89b443dd346ae8bccaf038a944221 中的答案很好地描述了计算 softmax 导数的方法。在这里，我正在寻找一种更有效的方法来计算导数，因为上面的代码需要 0.05~6 秒来评估 1000 x 100，而之前的 softmax+cross entropy 组合层只需要 0.002秒。

因此，我正在寻找一种使代码运行更快的方法。我不确定我是否使用最有效的方法计算雅可比矩阵，但我尝试了另一种方法，我 repmat(ly,1,n) 然后将它与 ly 点乘。事实证明情况更糟，因为显然 julia 的 repmat 需要太多分配。

本质上，我正在寻找一种有效的方法来将数组与数组中的每个元素相乘，并将结果连接到方阵中。任何朱莉娅大师对此有想法吗？谢谢！

Answer 1

在抱怨可运行代码后（抱怨仍然相关），我会尝试更具建设性的评论。替换循环：

 for i=1:n
    li = ly[i]
    l.jacobian[:,i] = -li * ly
    l.jacobian[i,i] = li*(1-li)
 end

有（无需循环）：

 l.jacobian .= -ly .* ly'
 l.jacobian[diagind(jacobian)] .= ly.*(1.0.-ly)

结果l.jacobian应该是一样的，效率更高

关于解释，使用的主要特征是：broadcast 和 diagind 的点符号。

以下计算softmax导数的代码提高性能的技巧

Tips for improving performance for the following code that calculates softmax derivative

optimization

machine-learning

neural-network

julia

softmax