如何在databricks集群中找出驱动程序IP?
How to find out driver IP in databricks cluster?
有没有办法找出数据块集群上的驱动程序 IP 是什么? Ganglia UI 显示主页上的所有节点,似乎没有办法只为驱动程序过滤。
您可以进入集群中的 Spark cluster UI - Master
选项卡。列出的 url 包含驱动程序的 IP,工人的 IP 列在底部。
根据您的用例,了解在初始化脚本中您可以从环境变量中获取 DB_DRIVER_IP 可能会有所帮助。
https://docs.databricks.com/clusters/init-scripts.html#environment-variables
还有其他在运行时设置的环境变量可以在 scala notebook 中访问:
System.getenv.get("MASTER") // spark://10.255.128.6:7077
System.getenv.get("SPARK_LOCAL_IP") // 10.255.128.6
有没有办法找出数据块集群上的驱动程序 IP 是什么? Ganglia UI 显示主页上的所有节点,似乎没有办法只为驱动程序过滤。
您可以进入集群中的 Spark cluster UI - Master
选项卡。列出的 url 包含驱动程序的 IP,工人的 IP 列在底部。
根据您的用例,了解在初始化脚本中您可以从环境变量中获取 DB_DRIVER_IP 可能会有所帮助。 https://docs.databricks.com/clusters/init-scripts.html#environment-variables
还有其他在运行时设置的环境变量可以在 scala notebook 中访问:
System.getenv.get("MASTER") // spark://10.255.128.6:7077
System.getenv.get("SPARK_LOCAL_IP") // 10.255.128.6