NLP-垃圾数据的情感处理需要时间

Question

我正在尝试查找输入文本的情绪。这个测试是一个垃圾句子，当我试图找到情感时，解析句子的注释大约需要 30 秒。对于普通文本，它需要不到一秒钟的时间。如果我需要处理大约数百万的数据，它会增加处理时间。对此的任何解决方案。

String text = "Nm n n 4 n n bkj nun4hmnun Onn njnb hm5bn nm55m nbbh n mnrrnut but n rym4n nbn 4nn65 m nun m n nn nun 4nm 5 gm n my b bb b b rtmrt55tmmm5tttn b b bb g bn nn n h r ret n nun bn d. B bbbbbbbbbbr bung NHnhn nn nk, v v v n gain t g 4gnyhimmigration ndn nb NVnb bin uny 7 nbbbbbnn vv bbvb ninn njnj n4 nm n km n n n cb j bun. Nhfnt bn nn. N hm nn nun m bum my b mmmnbjk nn n by nn nun nun n nun nn bn n nhn n nn n n m NH nb4mnm mkn 4 n n n n hm r b rnfngg4d in b nut mmmkmmm5 bbjn n n ij BBM 8u8i by nun n.nn hm n. n4n By 4n4n bunny RN bny hm j mi. Nymmn FBT not mn n n nm g by n n nnm? Rnyb vCard n5 Yu nn n n n n nt .nm mn nt n nb n n n n by y5nnnhyyh h b b nt njj n m f4n re";
Properties props = new Properties();
            props.setProperty("annotators","tokenize, ssplit, pos,parse,sentiment");
            StanfordCoreNLP pipeline = new StanfordCoreNLP(props);
            Annotation annotation = pipeline.process(text);

对于 NLP 情绪计算，我必须解析数据，我认为这就是它花费时间的原因。

谢谢

Answer 1

是的，标准的 PCFG 解析器（默认为运行且未指定任何其他选项的解析器）会因这种冗长的无意义数据而窒息。使用 shift-reduce constituency parser 可能会更好，它比 PCFG 快得多，而且几乎一样准确。

NLP-垃圾数据的情感处理需要时间

NLP- Sentiment Processing for Junk Data takes time

nlp

pos-tagger

stanford-nlp

sentiment-analysis