Azure Databricks EventHub 连接错误

Question

我正在尝试将数据从 Azure EventHub 获取到 Databricks。为了建立连接，我正在执行以下代码：

conf = {}
connectionString = "my connection string key"
conf["eventhubs.connectionString"] = sc._jvm.org.apache.spark.eventhubs.EventHubsUtils.en

我得到的错误是 Py4JError: org.apache.spark.eventhubs.EventHubsUtils.en 在 JVM 中不存在

我了解到此错误与 Maven 库有关，我使用的是 9.1 LTS（包括 Apache Spark 3.1.2、Scala 2.12）并安装了以下库：

com.microsoft.azure:azure-eventhubs-spark_2.12:2.3.17
com.microsoft.azure:azure-eventhubs-spark_2.12:2.3.18
com.microsoft.azure:azure-eventhubs-spark_2.11:2.3.12
com.microsoft.azure:azure-eventhubs-spark_2.12:2.3.21

有什么想法吗？

Answer 1

打错了 - 您需要使用 sc._jvm.org.apache.spark.eventhubs.EventHubsUtils.encrypt.

而不是 sc._jvm.org.apache.spark.eventhubs.EventHubsUtils.en

此外，您只需要保留一个库 - 您不能混合使用 2.12 和 2.11 的库。最好用com.microsoft.azure:azure-eventhubs-spark_2.12:2.3.21

Azure Databricks EventHub 连接错误

Azure Databricks EventHub connection error

apache-spark

databricks

azure-databricks

spark-structured-streaming

azure-eventhub