如何使用 Scala 2.11 运行 Kafka 作为 Apache Spark 的流？
How to run Kafka as a stream for Apache Spark using Scala 2.11?
我还没有找到任何针对 Kafka for Scala 2.11 的 Spark Streaming 集成版本。这里有一个 http://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka_2.10 但它适用于 2.10
谁能告诉我 2.11 版本？
具体到你的问题：
目前 运行 Spark Kafka 对 Scala 2.11 不可行 (Spark-1.3)
从源代码构建的一般方法：
如果没有可用的预构建版本，您可以自己构建 spark 并通过指定一些构建参数来满足您的需求。
详细的构建过程可以找到：Building Spark
简而言之，如果针对 scala-2.10 构建，只需两步：
export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
mvn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package
您应该在第二个命令中指定适合您情况的配置文件或属性
请注意 Building Spark 部分在 Building for Scala 2.11 上的说明：
To produce a Spark package compiled with Scala 2.11, use the -Dscala-2.11 property:
dev/change-version-to-2.11.sh
mvn -Pyarn -Phadoop-2.4 -Dscala-2.11 -DskipTests clean package
Scala 2.11 support in Spark does not support a few features due to dependencies which are themselves not Scala 2.11 ready. Specifically, Spark’s external Kafka library and JDBC component are not yet supported in Scala 2.11 builds.
我还没有找到任何针对 Kafka for Scala 2.11 的 Spark Streaming 集成版本。这里有一个 http://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka_2.10 但它适用于 2.10
谁能告诉我 2.11 版本？
具体到你的问题：
目前 运行 Spark Kafka 对 Scala 2.11 不可行 (Spark-1.3)
从源代码构建的一般方法：
如果没有可用的预构建版本，您可以自己构建 spark 并通过指定一些构建参数来满足您的需求。
详细的构建过程可以找到：Building Spark
简而言之，如果针对 scala-2.10 构建，只需两步：
export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
mvn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package
您应该在第二个命令中指定适合您情况的配置文件或属性
请注意 Building Spark 部分在 Building for Scala 2.11 上的说明：
To produce a Spark package compiled with Scala 2.11, use the -Dscala-2.11 property:
dev/change-version-to-2.11.sh
mvn -Pyarn -Phadoop-2.4 -Dscala-2.11 -DskipTests clean packageScala 2.11 support in Spark does not support a few features due to dependencies which are themselves not Scala 2.11 ready. Specifically, Spark’s external Kafka library and JDBC component are not yet supported in Scala 2.11 builds.