CNN中全连接层的输出是什么?
What is the output of fully connected layer in CNN?
例如,在 Caffe 中,应该在 Inner Product (Fully Connected) 层中定义 num_output。这个输出数字是什么意思?
将完全连接层视为 1xN
和 NxM
的简单矩阵乘法,以产生维度 1xM
.
的结果
让我们考虑将维度为 56x56x3
的数据作为全连接层的输入。设权重的维度未知NxM
。考虑一下,我们设置 num_ouput = 4096
.
为了计算这些数据,全连接层将维度 56x56x3
的输入数据重塑为 1xN
、1x(56x56x3) = 1x9408
.
因此,
N = 9408
M=num_output=4096
实际上我们最终做了一个 (1x9408)matrix - (9408x4096) matrix
乘法。
如果 num_output 值更改为 100
,它最终会执行 (1x9408)matrix - (9408x100) matrix
乘法。
因此增加 num_ouput
值将增加模型必须学习的权重参数的数量。
例如,在 Caffe 中,应该在 Inner Product (Fully Connected) 层中定义 num_output。这个输出数字是什么意思?
将完全连接层视为 1xN
和 NxM
的简单矩阵乘法,以产生维度 1xM
.
让我们考虑将维度为 56x56x3
的数据作为全连接层的输入。设权重的维度未知NxM
。考虑一下,我们设置 num_ouput = 4096
.
为了计算这些数据,全连接层将维度 56x56x3
的输入数据重塑为 1xN
、1x(56x56x3) = 1x9408
.
因此,
N = 9408
M=num_output=4096
实际上我们最终做了一个 (1x9408)matrix - (9408x4096) matrix
乘法。
如果 num_output 值更改为 100
,它最终会执行 (1x9408)matrix - (9408x100) matrix
乘法。
因此增加 num_ouput
值将增加模型必须学习的权重参数的数量。