输出激活与 Softmax 的转换产生相似的值
Conversion of output activation with Softmax produces similar values
我训练了一个简单的递归网络(62 个输入单元、124 个 hidden/context 单元、62 个输出单元)来预测句子中的后续单词。我使用了 sigmoid 激活函数。
由于各种奇怪的原因,无法在训练期间应用 softmax。我的教授建议我可以在之后将 softmax 应用于网络输出。该矩阵有 576 行和 62 列。
所以我通过以下方式在 R 中实现了 softmax:
softmax <- function(outVec = NULL){
s.vec <- exp(outVec)/sum(exp(outVec))
return(s.vec)
}
softmax_complete <- function(vec = NULL){
softmaxed.vec <- matrix(apply(vec, 1, softmax), ncol=dim(vec)[2], nrow=dim(vec)[1])
return(softmaxed.vec)
}
softmax_complete() returns 矩阵的每一行总和正确为 1。问题是,对于每一行,我的函数产生的值彼此非常相似。无法验证网络性能,因为这些值几乎是 "the same".
这里是一些小的示例数据。它来自网络输出的第二行。尚未应用 Softmax。
output.vec <- c(0.2371531427, 0.0085829534, 0.0007576860, 0.0027021256, 0.0025776778, 0.0014593119, 0.0019006504, 0.0403518006,
0.0024586972, 0.0517364480, 0.0012057235, 0.0950696915, 0.0025749709, 0.0008823058, 0.0005064047, 0.0014039490,
0.0013259919, 0.0014723240, 0.0011820868, 0.0011805159, 0.0009319001, 0.0022884205, 0.0023589570, 0.0020189525,
0.0015377736, 0.0937648788, 0.0012874968, 0.0443032309, 0.0012919122, 0.0897148922, 0.0022041877, 0.0444274731,
0.0014143962, 0.0361100733, 0.0020817134, 0.0447632931, 0.0009620183, 0.0011552101, 0.0016173105, 0.0016870035,
0.0011272663, 0.0019183536, 0.0017270016, 0.0011056620, 0.0007743868, 0.0026786255, 0.0019340677, 0.0010532230,
0.0014585924, 0.0386148430, 0.0012295874, 0.0390544645, 0.0017903288, 0.0967107117, 0.0013074477, 0.0006164946,
0.0001758277, 0.0001023397, 0.0004014068, 0.0004558225, 0.0003554984, 0.0001830685)
当我对该行应用 softmax 时,我得到以下结果:
[1] 0.01585984 0.01583950 0.01567646 0.01583540 0.01735750 0.01579704 0.01587178 0.01589101 0.01586093 0.01590457
[11] 0.01586255 0.01637181 0.01590217 0.01584308 0.01570456 0.01581733 0.01952223 0.01590497 0.01970620 0.01578586
[21] 0.01610417 0.01591379 0.01588095 0.01584309 0.01567710 0.01582956 0.01650858 0.01573117 0.01589502 0.01608836
[31] 0.01574208 0.01582079 0.01584367 0.01569571 0.01583481 0.01596172 0.01577246 0.01586151 0.01605467 0.01574746
[41] 0.01586397 0.01581472 0.01576479 0.01580914 0.01583660 0.01566672 0.01584366 0.02017004 0.01585517 0.02007705
[51] 0.01580263 0.01583277 0.01580424 0.01583763 0.01587117 0.01568283 0.01583775 0.01595945 0.01587471 0.01575585
[61] 0.01584288 0.01577770
行总和为 1.000703。对于上面示例中未描述的另一行,行总和为 0.9976472。我做错了什么?
也许你们有解决该问题的想法。提前感谢您的宝贵时间和帮助:-)
问候,马蒂亚斯
编辑:
这就是我通过 RSNNS 创建 Elman 网络的方式:
elman<-rsnnsObjectFactory(subclass=c("elman"), nInputs=inputNeurons, maxit=maxIterations,
initFunc="JE_Weights", initFuncParams=c(0.15, -0.15, 0, 1.0, 0.5),
learnFunc="JE_BP", learnFuncParams=c(learnRate),
updateFunc="JE_Order", updateFuncParams=c(0),
shufflePatterns=FALSE, computeIterativeError=FALSE)
elman$archParams <- list(size=hiddenNeurons)
elman$snnsObject$elman_createNet(c(inputNeurons, hiddenNeurons, outputNeurons),c(1,1,1),FALSE)
elman$snnsObject$initializeNet(c(0.15, -0.15, 0, 1.0, 0.5), initFunc="JE_Weights")
elman$snnsObject$setUnitDefaults(1,0,1,0,1,"Act_Logistic","Out_Identity")
elman$snnsObject$setTTypeUnitsActFunc("UNIT_INPUT", "Act_Logistic")
elman$snnsObject$setTTypeUnitsActFunc("UNIT_SPECIAL_H", "Act_Identity")
elman$snnsObject$setTTypeUnitsActFunc("UNIT_OUTPUT", "Act_Logistic")
更简洁的 softmax 版本是:
softmax <- function(x){
score.exp <- exp(x)
probs <-sweep(score.exp, 1, rowSums(score.exp), '/')
return(probs)
}
您现在可以直接传入矩阵。现在,查看您提供的向量。
res <- softmax(matrix(output.vec, nrow=1))
sum(res)
[1] 1
不过,看来你们的价值观还是没有太大区别。在我看来,对于这个特定样本,您的 RNN 提供的信息并不多。据此,最有可能的'class'是第一个class,概率为2%。
我建议使用上面的函数在整个数据集中尝试它。
这一切都假设了您对神经网络实施的许多事情。如果您能提供您使用的软件的参考以及至少您设置的参数,将会很有帮助。
我训练了一个简单的递归网络(62 个输入单元、124 个 hidden/context 单元、62 个输出单元)来预测句子中的后续单词。我使用了 sigmoid 激活函数。 由于各种奇怪的原因,无法在训练期间应用 softmax。我的教授建议我可以在之后将 softmax 应用于网络输出。该矩阵有 576 行和 62 列。 所以我通过以下方式在 R 中实现了 softmax:
softmax <- function(outVec = NULL){
s.vec <- exp(outVec)/sum(exp(outVec))
return(s.vec)
}
softmax_complete <- function(vec = NULL){
softmaxed.vec <- matrix(apply(vec, 1, softmax), ncol=dim(vec)[2], nrow=dim(vec)[1])
return(softmaxed.vec)
}
softmax_complete() returns 矩阵的每一行总和正确为 1。问题是,对于每一行,我的函数产生的值彼此非常相似。无法验证网络性能,因为这些值几乎是 "the same".
这里是一些小的示例数据。它来自网络输出的第二行。尚未应用 Softmax。
output.vec <- c(0.2371531427, 0.0085829534, 0.0007576860, 0.0027021256, 0.0025776778, 0.0014593119, 0.0019006504, 0.0403518006,
0.0024586972, 0.0517364480, 0.0012057235, 0.0950696915, 0.0025749709, 0.0008823058, 0.0005064047, 0.0014039490,
0.0013259919, 0.0014723240, 0.0011820868, 0.0011805159, 0.0009319001, 0.0022884205, 0.0023589570, 0.0020189525,
0.0015377736, 0.0937648788, 0.0012874968, 0.0443032309, 0.0012919122, 0.0897148922, 0.0022041877, 0.0444274731,
0.0014143962, 0.0361100733, 0.0020817134, 0.0447632931, 0.0009620183, 0.0011552101, 0.0016173105, 0.0016870035,
0.0011272663, 0.0019183536, 0.0017270016, 0.0011056620, 0.0007743868, 0.0026786255, 0.0019340677, 0.0010532230,
0.0014585924, 0.0386148430, 0.0012295874, 0.0390544645, 0.0017903288, 0.0967107117, 0.0013074477, 0.0006164946,
0.0001758277, 0.0001023397, 0.0004014068, 0.0004558225, 0.0003554984, 0.0001830685)
当我对该行应用 softmax 时,我得到以下结果:
[1] 0.01585984 0.01583950 0.01567646 0.01583540 0.01735750 0.01579704 0.01587178 0.01589101 0.01586093 0.01590457
[11] 0.01586255 0.01637181 0.01590217 0.01584308 0.01570456 0.01581733 0.01952223 0.01590497 0.01970620 0.01578586
[21] 0.01610417 0.01591379 0.01588095 0.01584309 0.01567710 0.01582956 0.01650858 0.01573117 0.01589502 0.01608836
[31] 0.01574208 0.01582079 0.01584367 0.01569571 0.01583481 0.01596172 0.01577246 0.01586151 0.01605467 0.01574746
[41] 0.01586397 0.01581472 0.01576479 0.01580914 0.01583660 0.01566672 0.01584366 0.02017004 0.01585517 0.02007705
[51] 0.01580263 0.01583277 0.01580424 0.01583763 0.01587117 0.01568283 0.01583775 0.01595945 0.01587471 0.01575585
[61] 0.01584288 0.01577770
行总和为 1.000703。对于上面示例中未描述的另一行,行总和为 0.9976472。我做错了什么?
也许你们有解决该问题的想法。提前感谢您的宝贵时间和帮助:-)
问候,马蒂亚斯
编辑:
这就是我通过 RSNNS 创建 Elman 网络的方式:
elman<-rsnnsObjectFactory(subclass=c("elman"), nInputs=inputNeurons, maxit=maxIterations,
initFunc="JE_Weights", initFuncParams=c(0.15, -0.15, 0, 1.0, 0.5),
learnFunc="JE_BP", learnFuncParams=c(learnRate),
updateFunc="JE_Order", updateFuncParams=c(0),
shufflePatterns=FALSE, computeIterativeError=FALSE)
elman$archParams <- list(size=hiddenNeurons)
elman$snnsObject$elman_createNet(c(inputNeurons, hiddenNeurons, outputNeurons),c(1,1,1),FALSE)
elman$snnsObject$initializeNet(c(0.15, -0.15, 0, 1.0, 0.5), initFunc="JE_Weights")
elman$snnsObject$setUnitDefaults(1,0,1,0,1,"Act_Logistic","Out_Identity")
elman$snnsObject$setTTypeUnitsActFunc("UNIT_INPUT", "Act_Logistic")
elman$snnsObject$setTTypeUnitsActFunc("UNIT_SPECIAL_H", "Act_Identity")
elman$snnsObject$setTTypeUnitsActFunc("UNIT_OUTPUT", "Act_Logistic")
更简洁的 softmax 版本是:
softmax <- function(x){
score.exp <- exp(x)
probs <-sweep(score.exp, 1, rowSums(score.exp), '/')
return(probs)
}
您现在可以直接传入矩阵。现在,查看您提供的向量。
res <- softmax(matrix(output.vec, nrow=1))
sum(res)
[1] 1
不过,看来你们的价值观还是没有太大区别。在我看来,对于这个特定样本,您的 RNN 提供的信息并不多。据此,最有可能的'class'是第一个class,概率为2%。
我建议使用上面的函数在整个数据集中尝试它。
这一切都假设了您对神经网络实施的许多事情。如果您能提供您使用的软件的参考以及至少您设置的参数,将会很有帮助。