scala中的Spark Streaming代码出错

Question

我在 Scala 中使用 Spark Streaming，我正在处理流式 Twitter 数据。我有以下代码：

val ssc = new StreamingContext(new SparkConf(), Seconds(5))
val tweets = TwitterUtils.createStream(ssc, None)

val user = tweets.map(x=> x.getText())
val lang = tweets.map(x=> x.getLang())

我收到以下错误：

[error] /home/user/Lab1.1/Twitterstats.scala:103: value getLang is not a member of twitter4j.Status
[error]                 val lang = tweets.map(x=> x.getLang())
[error]                                             ^
[error] one error found

上面的代码有什么问题？有人可以帮忙吗

Answer 1

spark-streaming-twitter 使用 Twitter4j。 getLang() 仅在 Twitter4J 的 3.0.6 版本后才受支持。如果您使用 1.5.2（或更低版本）的 spark-streaming-twitter，您将无法调用 getLang() 因为它使用 twitter4j 的版本 3.0.3。由于支持 1.6.0 版本 4.0.4 以及 getLang() 函数。

因此您可以将 spark-streaming-twitter 升级到 1.6.0 或更高版本。或者您可以使用另一个第 3 方库来检测您的推文的语言。

（可能duplicate）

scala中的Spark Streaming代码出错

Error in Spark Streaming code in scala

scala

apache-spark

spark-streaming