WEKA 中的神经网络

Question

我有一个已经分类的文本数据集。我有 7 个可用类。

我在构建模型时使用了（怀卡托知识分析环境）WEKA。此外，我还训练和测试了 3 种不同的算法，以确定哪种算法最适合我的数据集。

我尝试了朴素贝叶斯、J48 和神经网络 (SMO)，它们都可以在 WEKA 的机器学习环境中使用。

在训练和测试过程中，找出三种算法在准确率方面的排名如下：

神经网络 - 98%
朴素贝叶斯 - 90%
J48 - 85%

根据以上结果，我决定使用神经网络并构建模型。我在 JAVA 中创建了一个应用程序并加载了从 WEKA 构建的神经网络模型。

但是，我的问题是，模型无法正确预测新数据。我有点困惑，因为在训练和测试期间我获得了很高的准确率，但在部署期间准确率只有 40%。

我尝试在 C# 中执行此操作并获得了相同的结果。下面是我使用的示例代码。

   Instances test = null; 
   DataSource source = new DataSource("C:\Users\Ian\Desktop\FINAL\testdataset.arff");
   test = source.getDataSet();
   test.setClassIndex(1); 

   FilteredClassifier cl1 = (FilteredClassifier) weka.core.SerializationHelper.read("C:\FINAL\NeuralNetworks.model");        
   Evaluation evaluation = new Evaluation(test);      
   evaluation.evaluateModel(cl1,test);
   System.out.println("Results:" + evaluation.toSummaryString());   


    for (int i = 0; i < test.numInstances(); i++) {
        String trueClassLabel = test.instance(i).toString(test.classIndex());
        double predictionIndex =cl1.classifyInstance(test.instance(i));

        String predictedClassLabel;
        predictedClassLabel = test.classAttribute().value((int) predictionIndex );
        System.out.println((i+1) + "\t" + trueClassLabel + "\t" + predictedClassLabel);
    }

有什么建议你认为我哪里做错了吗？

Answer 1

在我们的评论中进行了简短的交谈后，在我看来，您显然对训练数据过度拟合了。这很可能是由神经网络架构引起的，该架构对于您要解决的问题而言过于强大。可以证明，任何函数都可以用具有足够自由度的神经网络来表示。 NN 没有找到一个很好的泛化解决方案，而是在训练期间记住了训练数据，从而获得了近乎完美的准确性。但是一旦它要处理新数据，它就不能很好地处理，因为它没有找到合适的泛化规则。为了解决这个问题，您必须降低神经网络的自由度。这可以通过减少层数和每层中的节点数来实现。尝试从只有 1 或 2 个节点很少的隐藏层开始。然后，不断增加节点和层数，直到达到最佳性能。

重要提示：始终使用独立的测试集来衡量性能，而不是使用训练模型时使用的相同数据。

您可以找到有关此问题的更多提示here

WEKA 中的神经网络

Neural Networks in WEKA

machine-learning

weka

neural-network

text-classification