Stanford NLP Parser 对 Kaggle Movie 评论中使用的相同语句给出不同的结果（情感）

Question

我正在研究 Kaggle 电影情感分析，我发现电影评论已使用 Standford Parser 进行了解析。在探索数据集时，我发现相同的语句给出了不同的设置-

their parents , wise folks that they are ,  2
their parents , wise folks that they are    3

Genuinely unnerving .   3
Genuinely unnerving 1

其中英文是解析后的数据，数字属于情感。现在，如果你只检查逗号和一个点的区别，其余的是相同的，但两者都属于不同的情绪，这给我分类带来了很多麻烦。

在文本分类中我应该怎么做才能避免这样的问题，如果我忽略重复并使用已经添加的情感，我的分类就会出错，那么解决这种情况的方法应该是什么。

Answer 1

我假设您使用的是词袋，逗号和点是您的特征之一（X 矩阵中的一列）。

+-------------------------+-----------+-----------+----+
|    Document/Features    | Genuinely | unnerving | .  |
+-------------------------+-----------+-----------+----+
|  Genuinely unnerving .  |         1 |         1 | 1  |
|  Genuinely unnerving    |         1 |         1 | 0  |
+-------------------------+-----------+-----------+----+

理想的算法应该了解这些特征是否相关。例如，在逻辑回归的情况下，您的算法会为相应的列分配一个非常小的权重，因此该列中的 1 或 0 不会改变预测结果。所以你会有这样的东西：

"Genuinely unnerving ." -> 0.5*1 + -2.3*1 + 0.000001*1 -> Negative
"Genuinely unnerving  " -> 0.5*1 + -2.3*1 + 0.000001*0 -> Also negative

在你的情况下，它们似乎起到了一些小作用。这真的是个问题吗？你发现了一些特殊情况，它似乎是错误的，但通过查看数据，算法发现带点的句子比没有点的句子更消极。也许你应该相信，从统计学上讲，一个点可以改变一个句子的意思。

您的训练数据或过拟合模型也有可能出现问题。如果你真的认为有问题，那么你可以通过表示句子将这些知识强加到模型上，使它们无法区分，例如忽略一些标点符号。

我认为一次去掉所有标点符号是错误的，例如 ! 伴随着单词 yes 可能代表非常积极的情绪，如果你把它从你的句子你会隐藏模型有价值的信息。但可能恰恰相反，! 在大多数情况下是负的，所以它在训练后得到了很高的负权重，这在预测 yes!!! 之类的句子时会混淆模型。在这种情况下，您可以将您的句子表示为二元语法，以便模型可以单独加权单个 ! 和 (yes, !) 组合的效果。

所以在简历中，您应该尝试不同的模型和方法来表示您的数据，看看哪些有效。

Stanford NLP Parser 对 Kaggle Movie 评论中使用的相同语句给出不同的结果（情感）

Stanford NLP Parser gives different result (sentiment) for same statement used in Kaggle Movie review

python

classification

stanford-nlp

scikit-learn

kaggle