DSE SearchAnalytics 与 Scala 错误

Question

参考this link，尝试在spark Dataframe

中查询cassandra table

val spark = SparkSession
          .builder()
          .appName("CassandraSpark")
          .config("spark.cassandra.connection.host", "127.0.0.1")
          .config("spark.cassandra.connection.port", "9042")
          .master("local[2]")
          .getOrCreate();

我正在使用的节点是 SearchAnalytics 节点通过使用这个 spark 会话，我尝试了 sql query

val ss = spark.sql("select * from killr_video.videos where solr_query = '{\"q\":\"video_id:1\"}'")

已在 table 上启用搜索索引。

在运行程序之后，这是我遇到的错误

Exception in thread "main" org.apache.spark.sql.AnalysisException: Table or view not found: `killr_video`.`videos`; line 1 pos 14;

'项目[*] +- 'UnresolvedRelation killr_video.videos

at org.apache.spark.sql.catalyst.analysis.package$AnalysisErrorAt.failAnalysis(package.scala:42)
at org.apache.spark.sql.catalyst.analysis.CheckAnalysis$$anonfun$checkAnalysis.apply(CheckAnalysis.scala:82)
at org.apache.spark.sql.catalyst.analysis.CheckAnalysis$$anonfun$checkAnalysis.apply(CheckAnalysis.scala:78)
at org.apache.spark.sql.catalyst.trees.TreeNode.foreachUp(TreeNode.scala:127)
at org.apache.spark.sql.catalyst.trees.TreeNode$$anonfun$foreachUp.apply(TreeNode.scala:126)
at org.apache.spark.sql.catalyst.trees.TreeNode$$anonfun$foreachUp.apply(TreeNode.scala:126)
at scala.collection.immutable.List.foreach(List.scala:392)
at org.apache.spark.sql.catalyst.trees.TreeNode.foreachUp(TreeNode.scala:126)
at org.apache.spark.sql.catalyst.analysis.CheckAnalysis$class.checkAnalysis(CheckAnalysis.scala:78)
at org.apache.spark.sql.catalyst.analysis.Analyzer.checkAnalysis(Analyzer.scala:91)
at org.apache.spark.sql.execution.QueryExecution.assertAnalyzed(QueryExecution.scala:52)
at org.apache.spark.sql.Dataset$.ofRows(Dataset.scala:66)
at org.apache.spark.sql.SparkSession.sql(SparkSession.scala:623)
at org.apache.spark.sql.SQLContext.sql(SQLContext.scala:691)

如何将 Cassandra 数据导入 Spark？

Answer 1

从这条错误消息来看，您似乎是在运行使用独立的 Spark 来编写代码，而不是通过 DSE Analytics（通过 dse spark-submit 或 dse spark）。

在这种情况下，您需要注册表格 - DSE documentation describes 如何为所有表格注册表格，使用 dse client-tool & spark-sql:

dse client-tool --use-server-config spark sql-schema --all > output.sql
spark-sql --jars byos-5.1.jar -f  output.sql

对于我的示例，它看起来如下所示：

USE test;
CREATE TABLE t122
       USING org.apache.spark.sql.cassandra
       OPTIONS (
                keyspace "test",
                table "t122",
                pushdown "true");

这是一个 solr_query 的例子，如果我运行它在 spark-shell 中以 dse spark:[=21= 开头，它就可以开箱即用]

scala> val ss = spark.sql("select * from test.t122 where solr_query='{\"q\":\"t:t2\"}'").show
+---+----------+---+
| id|solr_query|  t|
+---+----------+---+
|  2|      null| t2|
+---+----------+---+

为了让您的生活更轻松，最好使用 DSE Analytics，而不是 bring your own spark。

DSE SearchAnalytics 与 Scala 错误

DSE SearchAnalytics with Scala error

cassandra

datastax-enterprise

apache-spark

apache-spark-sql

spark-cassandra-connector