实现 softmax 回归

Question

我正在尝试使用 softmax 回归制作神经网络。我正在使用以下回归公式：

假设我有一个 1000x100 的输入。换句话说，假设我有 1000 张图像，每张图像的尺寸为 10x10。现在，假设这些图像是 A、B、C、D、E、F、G、H、I、J 字母的图像，我正在尝试预测这一点。我的设计如下：有 100 个输入（每个图像）和 10 个输出。

我有以下疑惑。鉴于 n 是 x^n 中的上标，关于分子，我是否应该执行 w 的点积（w = 权重，其维度为 10x100 - 10 代表输出数量，100 代表输入数量）和单个x（单个图像）或所有组合的图像（1000x100）？我在 python 中编码，所以如果我做 w 和 x^T 的点积（10x100 点 100x1000），那么我不确定如何使它成为指数。我正在使用麻木。我很难围绕这些矩阵思考如何将它们提升为指数。

Answer 1

如果您正在训练神经网络，我们可能值得检查 Theano 库。它具有各种输出阈值函数，如 tanh、softmax 等，并允许在 GPU 上训练神经网络。

另外x^n是上式中最后一层的输出，不是提升到某个指数的输入。你不能把矩阵放在指数中。

您应该检查更多有关 softmax 回归的信息。 This 可能会有帮助。