如何将日志从 Azure Databricks 重定向到另一个目的地?

How to re-direct logs from Azure Databricks to another destination?

我们可以使用一些帮助来了解如何将 Spark 驱动程序和工作日志发送到 Azure Databricks 之外的目的地,例如Azure Blob 存储或使用 Eleastic-beats 的弹性搜索。

配置新集群时,get reg log delivery destination 的唯一选项是 dbfs,参见

https://docs.azuredatabricks.net/user-guide/clusters/log-delivery.html.

非常感谢任何输入,谢谢!

也许以下内容会有所帮助:

首先为您的 Spark 驱动程序和工作日志指定一个 dbfs 位置。
https://docs.databricks.com/user-guide/clusters/log-delivery.html

然后,创建一个挂载点,将 dbfs 文件夹链接到 Blob 存储容器。 https://docs.databricks.com/spark/latest/data-sources/azure/azure-storage.html#mount-azure-blob-storage-containers-with-dbfs

希望对您有所帮助!