非英语满足句子 DL4J 和 NLP 的错误

Question

我正在尝试运行来自 Dl4J 示例的示例程序。这是程序：https://github.com/deeplearning4j/dl4j-examples/blob/master/dl4j-examples/src/main/java/org/deeplearning4j/examples/recurrent/word2vecsentiment/Word2VecSentimentRNN.java
我只做了一个简单的 tweek 来通过命令行获取连续输入。
现在，当我输入完美的英文句子时，它会输出情绪。但是当我输入一些奇怪的东西时它会抛出异常。
这是示例：

eweweerfsd dfddfdr
Exception in thread "main" org.nd4j.linalg.exception.ND4JIllegalStateException: Invalid shape: Requested INDArray shape [1, 300, 0] contains dimension size values < 1 (all dimensions must be 1 or more)
    at org.nd4j.linalg.factory.Nd4j.checkShapeValues(Nd4j.java:4654)
    at org.nd4j.linalg.factory.Nd4j.create(Nd4j.java:4644)
    at org.nd4j.linalg.factory.Nd4j.create(Nd4j.java:3810)
    at sf.sentiment.analyzer.core.SentimentAnalyser.getDataSet(SentimentAnalyser.java:77)
    at sf.sentiment.analyzer.core.SentimentAnalyser.predict(SentimentAnalyser.java:46)
    at sf.sentiment.analyzer.SentimentAnalysis.main(SentimentAnalysis.java:59)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at com.intellij.rt.execution.application.AppMain.main(AppMain.java:147)

我想知道如何避免此类问题？我想知道我可以找到我是否应该给程序输入或只是说这句话不合适？我怎么知道没有拼写错误？总之如何判断给程序输入的句子？
请建议。我很想知道解决方案。

Answer 1

如果我不得不猜测问题是您提交的词不在 word2vec 词汇表中，那么当它找不到 eweweerfsd 的词向量时出现问题。简单的解决方案是跳过包含未知词汇的句子或删除未知词或用 word2vec 词汇表中的稀有词替换未知词。

非英语满足句子 DL4J 和 NLP 的错误

Error on non English satisfying sentence DL4J and NLP

java

maven

stanford-nlp

dl4j