Apache Spark 3 GPU 集群
Apache Spark 3 GPU cluster
我是 Apache Spark 的新手。在我尝试使用可以轻松创建 GPU 集群的 Dask、Ray 和 Horovod 之前。
我目前正在使用 Apache Spark 3.0（添加了 NVIDIA GPU 支持）但在创建 GPU 集群时遇到了问题。
我尝试按如下方式配置 spark-defaults.conf：
spark.executor.resource.gpu.amount 1
#spark.task.resource.gpu.amount 0.25
#spark.executor.resource.gpu.discoveryScript ./getGpusResources.sh
仪表板上的状态显示 waiting。
如何创建 GPU 集群？
在查看了几个隐藏的网站后，我在以下博客中整理了在 Apache Spark 3.0 中设置 GPU 集群的说明：http://deeplearningyogi.com/
请评论。
谢谢，
万迪赛
我是 Apache Spark 的新手。在我尝试使用可以轻松创建 GPU 集群的 Dask、Ray 和 Horovod 之前。
我目前正在使用 Apache Spark 3.0（添加了 NVIDIA GPU 支持）但在创建 GPU 集群时遇到了问题。
我尝试按如下方式配置 spark-defaults.conf：
spark.executor.resource.gpu.amount 1
#spark.task.resource.gpu.amount 0.25
#spark.executor.resource.gpu.discoveryScript ./getGpusResources.sh
仪表板上的状态显示 waiting。
如何创建 GPU 集群？
在查看了几个隐藏的网站后，我在以下博客中整理了在 Apache Spark 3.0 中设置 GPU 集群的说明：http://deeplearningyogi.com/ 请评论。
谢谢，
万迪赛