在事件中心的 Spark Streaming 作业中设置 eventhubs.checkpoint.dir 时出错

Question

我正在尝试通过运行本地的火花流作业访问事件中心数据。我在为 eventhubs.checkpoint.dir 设置事件中心配置时遇到问题。我尝试设置以下值

wasbs://container_name@storage_name.blob.core.windows.net/
https://container_name@storage_name.blob.core.windows.net/
https://storage_name.blob.core.windows.net/continer_name/

每个都导致与以下类似的错误：

ERROR ReceiverTracker: Deregistered receiver for stream 0: Restarting receiver with delay 2000ms: Error handling message; restarting receiver -   java.io.IOException: No FileSystem for scheme: https
    at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2421)
    at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2428)
    at org.apache.hadoop.fs.FileSystem.access0(FileSystem.java:88)
    at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2467)
    at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2449)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:367)

Answer 1

您可以将 eventhubs.checkpoint.dir 设置为一个字符串值，该值将是一个有效的 wasb 文件夹名称。例如，我将其设置为“/myeventhubspark”。该文件夹将在您的 Spark 集群的默认容器中自动创建。请务必在文件夹名称前加上正斜杠，例如 -

"eventhubs.checkpoint.dir" -> “/myeventhubspark”

在事件中心的 Spark Streaming 作业中设置 eventhubs.checkpoint.dir 时出错

Error in setting eventhubs.checkpoint.dir in spark streaming job from event hub

apache-spark

azure-blob-storage

spark-streaming

azure-eventhub