添加正则化会导致性能变慢和变差
Adding Regularization Gives Slower and Worse Performance
当我添加更强的正则化（例如，L2 正则化参数从 1 到 10，或 dropout 参数从 0.75 到 0.5）时，它让我的性能越来越差（例如，在 3000-4000 次迭代中测试准确率达到 97-98%在 3000-4000 次迭代中只有 94-95% 的测试准确率）。这可能是有原因的吗？我可以确认一切都已正确实施。谢谢！
编辑：我只是想指出我的程序有过度拟合（大约 1%），而且似乎有和没有 dropout，训练和测试准确率之间的差异也差不多。
欠拟合可能是准确率急剧下降的原因。对小于 1 的 l2 正则化使用较小的值。检查 [0.01,0.03,0.1,0.3,0.9] 并查看。
当我添加更强的正则化（例如，L2 正则化参数从 1 到 10，或 dropout 参数从 0.75 到 0.5）时，它让我的性能越来越差（例如，在 3000-4000 次迭代中测试准确率达到 97-98%在 3000-4000 次迭代中只有 94-95% 的测试准确率）。这可能是有原因的吗？我可以确认一切都已正确实施。谢谢！
编辑：我只是想指出我的程序有过度拟合（大约 1%），而且似乎有和没有 dropout，训练和测试准确率之间的差异也差不多。
欠拟合可能是准确率急剧下降的原因。对小于 1 的 l2 正则化使用较小的值。检查 [0.01,0.03,0.1,0.3,0.9] 并查看。