Spark 2.0.0 推特流驱动程序不再可用

Question

在从 spark 1.6.2 迁移到 spark 2.0.0 期间，包 org.apache.spark.streaming.twitter 已被删除，twitter 流和依赖项不再可用

<dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-streaming-twitter_2.11</artifactId>
  <version>2.0.0</version>
</dependency>

谁能建议如何在新的 spark 中处理 Twitter 流？

Answer 1

Twitter（和其他一些）驱动程序支持已在 Spark 2.0 中删除。

您可以在 Release Notes 的删除部分看到它：

Removals

The following features have been removed in Spark 2.0:

Less frequently used streaming connectors, including Twitter, Akka, MQTT, ZeroMQ

它们已作为单独的包提取到 Bahir Project. The twitter extension, streaming-twitter 下，可以通过以下方式找到：

sbt:

libraryDependencies += "org.apache.bahir" %% "spark-streaming-twitter" % "2.0.0"

专家：

<dependency>
  <groupId>org.apache.bahir</groupId>
  <artifactId>spark-streaming-twitter_2.11</artifactId>
  <version>2.0.0-preview</version>
</dependency>

Mailing List

中的更多信息（感谢@IvanShulak）

编辑：

对于 Spark 2.0.1，使用：

libraryDependencies += "org.apache.bahir" %% "spark-streaming-twitter" % "2.0.1"

Spark 2.0.0 推特流驱动程序不再可用

Spark 2.0.0 twitter streaming driver is no longer available

twitter-streaming-api

apache-spark

spark-streaming

Removals

The following features have been removed in Spark 2.0:

编辑：