ML.Net 转换是否应用停用词?
Does ML.Net transformations apply stopwords?
我是 ML.Net 的新手,正在研究一些基本的 MultiClassClassification 场景,想知道它现在是否已经可以默认处理停用词,或者我应该在数据准备中这样做吗?
请查看 ML.NET 食谱中的 this section。
如果您在管道中使用 mlContext.Transforms.Text.FeaturizeText
,它会默认删除英语停用词。
当然,您可以使用 ML.NET 提供的其他组件自由调整 NLP 预处理,但是,根据我在文本分类方面的一点经验,包罗万象的 FeaturizeText
做得还不错对于大多数情况。
我是 ML.Net 的新手,正在研究一些基本的 MultiClassClassification 场景,想知道它现在是否已经可以默认处理停用词,或者我应该在数据准备中这样做吗?
请查看 ML.NET 食谱中的 this section。
如果您在管道中使用 mlContext.Transforms.Text.FeaturizeText
,它会默认删除英语停用词。
当然,您可以使用 ML.NET 提供的其他组件自由调整 NLP 预处理,但是,根据我在文本分类方面的一点经验,包罗万象的 FeaturizeText
做得还不错对于大多数情况。