Python -> Py4j -> Spark -> Cassandra

Question

我想在测试 Cassandra table 上测试一个简单的 Spark 行计数作业，只有四行只是为了验证一切正常。

我可以通过 Java 快速完成这项工作：

    JavaSparkContext sc = new JavaSparkContext(conf);
    SparkContextJavaFunctions sparkContextJavaFunctions = CassandraJavaUtil.javaFunctions(sc);
    CassandraJavaRDD<CassandraRow> table = sparkContextJavaFunctions.cassandraTable("demo", "playlists");
    long count = table.count();

现在，我想让同样的东西在 Python 中工作。 Spark 发行版附带一组未捆绑的 PySpark 源代码，以使用来自 Python 的 Spark。它使用名为 py4j 的库来启动 Java 服务器并通过 TCP 网关编组 java 命令。我正在直接使用该网关来使其正常工作。

我通过 --driver-class-path 选项将以下额外的 jar 指定给 Java SparkSubmit 主机：

spark-cassandra-connector-java_2.11-1.2.0-rc1.jar
spark-cassandra-connector_2.11-1.2.0-rc1.jar
cassandra-thrift-2.1.3.jar
cassandra-clientutil-2.1.3.jar
cassandra-driver-core-2.1.5.jar
libthrift-0.9.2.jar
joda-convert-1.2.jar
joda-time-2.3.jar

这是进行行计数测试的核心 Python 代码：

from pyspark.java_gateway import launch_gateway
jvm_gateway = launch_gateway()
sc = jvm_gateway.jvm.org.apache.spark.api.java.JavaSparkContext(conf)
spark_cass_functions = jvm_gateway.jvm.com.datastax.spark.connector.japi.CassandraJavaUtil.javaFunctions(sc)
table = spark_cass_functions.cassandraTable("demo", "playlists");

在最后一行，我收到以下错误：

py4j.protocol.Py4JJavaError: An error occurred while calling o5.cassandraTable.
: com.datastax.spark.connector.util.ConfigCheck$ConnectorConfigurationException: Invalid Config Variables
Only known spark.cassandra.* variables are allowed when using the Spark Cassandra Connector.
spark.cassandra.connection.conf.factory is not a valid Spark Cassandra Connector variable.
No likely matches found.
spark.cassandra.auth.conf.factory is not a valid Spark Cassandra Connector variable.
No likely matches found.
    at com.datastax.spark.connector.util.ConfigCheck$.checkConfig(ConfigCheck.scala:38)
    at com.datastax.spark.connector.rdd.CassandraRDD.<init>(CassandraRDD.scala:18)
    at com.datastax.spark.connector.rdd.CassandraTableScanRDD.<init>(CassandraTableScanRDD.scala:59)
    at com.datastax.spark.connector.rdd.CassandraTableScanRDD$.apply(CassandraTableScanRDD.scala:182)
    at com.datastax.spark.connector.japi.SparkContextJavaFunctions.cassandraTable(SparkContextJavaFunctions.java:88)
    at com.datastax.spark.connector.japi.SparkContextJavaFunctions.cassandraTable(SparkContextJavaFunctions.java:68)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:497)
    at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:231)
    at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:379)
    at py4j.Gateway.invoke(Gateway.java:259)
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:133)
    at py4j.commands.CallCommand.execute(CallCommand.java:79)
    at py4j.GatewayConnection.run(GatewayConnection.java:207)
    at java.lang.Thread.run(Thread.java:745)

很明显，存在一些配置或设置问题。我不确定如何合理地调试或调查或者我可以尝试什么。有更多 Cassandra/Python/Spark 专业知识的人可以提供一些建议吗？谢谢！

编辑：一位同事设置了一个 spark-defaults.conf 文件，这是它的根。我不完全理解为什么这会导致 Python 而不是 Java 的问题，但这并不重要。我不想要那个 conf 文件并删除它解决了问题。

Answer 1

这是 1.2.0-rc1 和 1.2.0-rc2 中 Spark Cassandra 连接器中的一个已知错误，将在 rc3 中修复。

Python -> Py4j -> Spark -> Cassandra

Python -> Py4j -> Spark -> Cassandra

python

cassandra

apache-spark

py4j