将随机梯度下降与 Shogun NeuralNetwork 一起使用时，一切都归类为相同
When using Stochastic Gradient Descent with Shogun NeuralNetwork, everything classified the same
我试图将一些样本分类为 1 或 0，但是当使用随机梯度下降作为优化算法时，所有样本都被分类为 1 或 0。
当使用默认值 (L-BFGS) 时，它按预期工作并将样本分类为 1 和 0。我尝试调整动量、学习率、批量大小、衰减和误差系数，但误差是每次都一样。任何帮助将不胜感激！
num_feats = X_train.get_num_features()
layers = DynamicObjectArray()
layers.append_element(NeuralInputLayer(num_feats))
layers.append_element(NeuralLogisticLayer(16))
layers.append_element(NeuralLogisticLayer(8))
layers.append_element(NeuralSoftmaxLayer(2))
MLP = NeuralNetwork(layers)
MLP.set_gd_momentum(0.9)
MLP.set_gd_learning_rate(0.001)
MLP.set_gd_mini_batch_size(200)
MLP.set_optimization_method(0)
MLP.set_l2_coefficient(1e-4)
MLP.set_epsilon(1e-8)
MLP.set_max_num_epochs(200)
MLP.quick_connect()
MLP.initialize_neural_network()
MLP.set_labels(y_train)
MLP.train
conf_mat_MLP = acc.get_confusion_matrix(y_pred_MLP, y_test)
print(conf_mat_MLP)
打印：
[[2400 0]
[ 314 0]]
声明 SGD 而非 L-BFGS 的行：
MLP.set_optimization_method(0)
注意：我在 Scikit-learn 和 Weka 中以相同的方式使用了随机梯度下降和完全相同的 train/test 设置——两者都不会产生这个错误，所以我希望它是按照我配置算法的方式进行操作，但我不知道是什么！
可能有用的链接 -
文档：
http://www.shogun-toolbox.org/api/latest/classshogun_1_1CNeuralNetwork.html
来源：
http://www.shogun-toolbox.org/api/latest/NeuralNetwork_8h_source.html
您应该（显着）降低您的 mini-batch 尺寸 - 尝试 20 左右。
我试图将一些样本分类为 1 或 0，但是当使用随机梯度下降作为优化算法时，所有样本都被分类为 1 或 0。
当使用默认值 (L-BFGS) 时，它按预期工作并将样本分类为 1 和 0。我尝试调整动量、学习率、批量大小、衰减和误差系数，但误差是每次都一样。任何帮助将不胜感激！
num_feats = X_train.get_num_features()
layers = DynamicObjectArray()
layers.append_element(NeuralInputLayer(num_feats))
layers.append_element(NeuralLogisticLayer(16))
layers.append_element(NeuralLogisticLayer(8))
layers.append_element(NeuralSoftmaxLayer(2))
MLP = NeuralNetwork(layers)
MLP.set_gd_momentum(0.9)
MLP.set_gd_learning_rate(0.001)
MLP.set_gd_mini_batch_size(200)
MLP.set_optimization_method(0)
MLP.set_l2_coefficient(1e-4)
MLP.set_epsilon(1e-8)
MLP.set_max_num_epochs(200)
MLP.quick_connect()
MLP.initialize_neural_network()
MLP.set_labels(y_train)
MLP.train
conf_mat_MLP = acc.get_confusion_matrix(y_pred_MLP, y_test)
print(conf_mat_MLP)
打印：
[[2400 0]
[ 314 0]]
声明 SGD 而非 L-BFGS 的行：
MLP.set_optimization_method(0)
注意：我在 Scikit-learn 和 Weka 中以相同的方式使用了随机梯度下降和完全相同的 train/test 设置——两者都不会产生这个错误，所以我希望它是按照我配置算法的方式进行操作，但我不知道是什么！
可能有用的链接 -
文档： http://www.shogun-toolbox.org/api/latest/classshogun_1_1CNeuralNetwork.html
来源： http://www.shogun-toolbox.org/api/latest/NeuralNetwork_8h_source.html
您应该（显着）降低您的 mini-batch 尺寸 - 尝试 20 左右。