如何将流式应用程序检查点设置为 Azure 存储？

Question

我正在尝试将 Spark 流应用程序的检查点设置到 Azure 存储。我使用的是 S3，代码运行良好。

这是我如何为 Azure 设置检查点的最新代码。

sc.hadoopConfiguration
      .set("fs.azure", "org.apache.hadoop.fs.azure.NativeAzureFileSystem")
    sc.hadoopConfiguration
      .set(
        "fs.azure.account.key.[name].blob.core.windows.net",
        [key]
      )
    ssc.checkpoint(
      "https://[name].blob.core.windows.net/[blob]")

这是我在启动时收到的错误消息。线程 "main" java.io.IOException 中的异常：方案没有文件系统：https

Answer 1

参见 here - 它适用于数据块，但应该仍然适用。

val df = spark.read.parquet("wasbs://<container-name>@<storage-account-name>.blob.core.windows.net/<directory-name>")

==> 因此，使用 wasbs 而不是 https

如何将流式应用程序检查点设置为 Azure 存储？

How to set streaming app checkpointing to Azure storage?

scala

azure

apache-spark

spark-streaming

spark-streaming-kafka