Azure Flink 检查点到 Azure 存储：找不到帐户的凭据

Question

我有一个测试 Flink 应用程序，我正在尝试运行在连接到 Azure 存储的 Azure Kubernetes 上。在我的 Flink 应用程序中，我配置了以下配置：

Configuration cfg = new Configuration();
cfg.setString("fs.azure.account.key.<storage-account.blob.core.windows.net", "<access-key>");
FileSystem.initialize(cfg, null);

我还启用了如下检查点：

env.enableCheckpointing(10000);
env.getCheckpointConfig().enableExternalizedCheckpoints(CheckpointConfig.ExternalizedCheckpointCleanup.DELETE_ON_CANCELLATION);
env.setStateBackend(new EmbeddedRocksDBStateBackend());
env.getCheckpointConfig().setCheckpointStorage("wasbs://<container>@<storage-account>.blob.core.windows.net/checkpoint/");

已在 Azure 门户上创建存储帐户。我在上面的代码中使用了访问密钥。

当我将应用程序部署到 Kubernetes 时，JobManager 运行并在 Azure 存储容器中创建检查点文件夹，但是，块 blob 数据的大小始终为 0B。该应用程序也不断抛出此异常。

我得到的有趣错误是：

Caused by: org.apache.flink.fs.shaded.hadoop3.org.apache.hadoop.fs.azure.AzureException: No credentials found for account <storage-account>.blob.core.windows.net in the configuration, and its container <container> is not accessible using anonymous credentials. Please check if the container exists first. If it is not publicly available, you have to provide account credentials.

org.apache.flink.fs.azure.shaded.com.microsoft.azure.storage.StorageException: Public access is not permitted on this storage account

一直让我头疼的部分（除了跳蚤）是它确实创建了检查点文件夹和文件并继续创建更多检查点。

此帐户无法 public 访问，公司政策已限制启用 public 访问。

我也试过使用 flink-conf.yaml，这是我的例子：

state:backend: rocksdb
state.checkpoints.dir: wasbs://<container>@<storage-account>.blob.core.windows.net/checkpoint/
fs.azure.account.key.**flinkstorage**.blob.core.windows.net: <access-key>
fs.azure.account.key.<storage-account>.blob.core.windows.net: <access-key>

我尝试了上面的两个 account.key 选项。我也尝试使用 wasb 协议。我还尝试轮换 Azure 存储上的访问密钥，所有这些都导致了相同的错误。

Answer 1

我最终通过将我所有的检查点配置移动到 flink-conf.yaml 来实现它。所有对检查点的引用都从我的代码中删除，即 StreamExecutionEnvironment。

我的 flink-config.yaml 看起来像这样

execution.checkpointing.interval: 10s
execution.checkpoint.mode: EXACTLY_ONCE
state.backend: rocksdb
state.checkpoints.dir: wasbs://<container>@<storage-account.blob.core.windows.net/checkpoint/

# azure storage access key
fs.azure.account.key.psbombb.blob.core.windows.net: <access-key>

现在正在将检查点写入 Azure 存储，元数据文件的大小不再是 0B。

我将我的 Flink 集群部署到 Kubernetes 并启用了 Azure 存储插件：

./bin/kubernetes-session.sh -Dkubernetes.cluster-id=<cluster-name> -Dkubernetes.namespace=<your-namespace> -Dcontainerized.master.env.ENABLE_BUILT_IN_PLUGINS=flink-azure-fs-hadoop-1.14.0.jar -Dcontainerized.taskmanager.env.ENABLE_BUILT_IN_PLUGINS=flink-azure-fs-hadoop-1.14.0.jar

然后我把作业部署到Flink集群上，如下：

./bin/flink run --target kubernetes-session -Dkubernetes.namespace=<your-namespace> -Dkubernetes.cluster-id=<cluster-name> ~/path/to/project/<your-jar>.jar

WebUI 上的 TaskManager 不会显示 StdOut 日志。您需要 kubectl logs -f <taskmanager-pod-name> -n <your-namespace> 才能查看作业日志。

如果想看Flink WebUI记得转发8081端口： kubectl port-forward svc/<cluster-name> -n <namespace>

例如http://localhost:8081

如果您使用的是 Minikube，并且希望通过 Flink LoadBalancer 外部 IP 访问集群，则需要运行 minikube tunnel

例如http://<external-ip>:8081

Azure Flink 检查点到 Azure 存储：找不到帐户的凭据

Azure Flink checkpointing to Azure Storage: No credentials found for account

azure

storage

apache-flink

azure-aks