Pyspark 和凤凰 table

Question

我想将 phoenix tables 与 Pyspark 一起使用。我尝试在此处找到的解决方案：https://phoenix.apache.org/phoenix_spark.html

但是我有一个错误。你能帮我解决这个错误吗？

df_metadata = sqlCtx.read.format("org.apache.phoenix.spark").option("zkUrl", "xxx").load("lib.name_of_table")
print(df_metadata.collect())

和错误：

py4j.protocol.Py4JJavaError：调用 o103.load 时发生错误。：java.lang.ClassNotFoundException：找不到数据源：org.apache.phoenix.spark。请在 http://spark-packages.org

找到包裹

如何将 org.apache.phoenix.spark 与 pyspark 一起使用？

Answer 1

好的，我发现这段代码有多正确：我将这部分添加到我的 spark-submit 中： --jars /opt/phoenix-4.8.1-HBase-1.2/phoenix-spark-4.8.1-HBase-1.2.jar,/opt/phoenix-4.8.1-HBase-1.2/phoenix-4.8 .1-HBase-1.2-client.jar\

Answer 2

我知道@Zop 给出的答案有效。

我遇到了这个错误 py4j.protocol.Py4JJavaError: An error occurred while calling o53.load. : java.lang.ClassNotFoundException: Failed to find data source: org.apache.phoenix.spark. Please find packages at http://spark.apache.org/third-party-projects.html

你也可以这样做

spark-submit --jars /usr/hdp/current/phoenix-client/phoenix-spark2.jar,/usr/hdp/current/phoenix-client/phoenix-4.7.0.2.6.4.0-91-client.jar,/usr/hdp/current/phoenix-client/phoenix-4.7.0.2.6.4.0-91-server.jar  <file here>

Pyspark 和凤凰 table

Pyspark and phoenix table

phoenix

classnotfoundexception

pyspark