斯坦福解析器可以忽略大小写吗?
Can Stanford Parser ignore case?
我一直在玩 http://corenlp.run/ 并注意到它区分大小写。
例如,它将 "i" 标记为 FW 而将 "I" 标记为 PRP。
我可以训练它忽略大小写吗?更一般地说,我该如何针对格式不正确的句子对其进行训练?
CorenNLP 具有不区分大小写的模型,您只能将其用于英语。他们称他们为caseless models。如果您使用版本 3.6.0
,请阅读那里的警告
link中提到的几点:
- 您可以修复文本中字母的大小写并使用普通模型。您可以为此使用
TrueCaseAnnotator
。
要使用 CoreNLP 训练您自己的不区分大小写的模型,您可以指定忽略大小写的标记预处理器
wordFunction = edu.stanford.nlp.process.LowercaseFunction
我一直在玩 http://corenlp.run/ 并注意到它区分大小写。 例如,它将 "i" 标记为 FW 而将 "I" 标记为 PRP。 我可以训练它忽略大小写吗?更一般地说,我该如何针对格式不正确的句子对其进行训练?
CorenNLP 具有不区分大小写的模型,您只能将其用于英语。他们称他们为caseless models。如果您使用版本 3.6.0
,请阅读那里的警告link中提到的几点:
- 您可以修复文本中字母的大小写并使用普通模型。您可以为此使用
TrueCaseAnnotator
。 要使用 CoreNLP 训练您自己的不区分大小写的模型,您可以指定忽略大小写的标记预处理器
wordFunction = edu.stanford.nlp.process.LowercaseFunction