kNN 是统计分类器吗?

Is kNN a statistical classifier?

我目前正在为我的人工智能考试做一个机器学习项目。目标是使用 WEKA 正确选择两种分类算法进行比较,请记住,这两种算法必须有足够的不同才能进行比较。此外,算法必须同时处理标称数据和数字数据(我想这是进行比较所必需的)。 例如,我的教授建议选择统计分类器和决策树分类器,或者深入研究自下而上分类器和自上而下分类器之间的比较。

由于我在Machine Learning领域的经验很少,所以我正在研究WEKA提供的各种算法,然后踩到了kNN,即k-nearest neighbors algorithm。 是统计的吗?例如,它可以与决策树桩算法进行比较吗?

否则,您能否推荐一些符合我上面指出的这些要求的算法?

P. S.:处理的数据必须是数字的和标称的。在 WEKA 上有 numerical/nominal 个特征和 numerical/nominal 类。我必须选择同时具有 numerical/nominal 特征和 类 的算法还是只选择其中之一?

非常感谢大家的帮助,感谢您的耐心等待!

根据你教授的描述,我不会考虑k-Nearest Neighbors (kNN) a statistical classifier. In most contexts, a statistical classifier is one that generalizes via statistics of the training data (either by using statistics directly or by transforming them). An example of this is the Naïve Bayes Classifier

相比之下,kNN是Instance-Based Learning的例子。它不使用训练数据的统计数据;相反,它将新观察结果直接与训练实例进行比较以执行分类。

关于比较,是的,您可以将 kNN 的性能与决策树桩(或任何其他分类器)进行比较。由于任何两个监督分类器都会针对您的 training/testing 数据产生分类精度,因此您可以比较它们的性能。