如何将机器添加到 GCP AI 平台?

How do I add machines to GCP AI Platform?

来自 question's advice, I have been running a Python app that uses Tensorflow to run simulations and outputs results to a csv file, using AI Platform. I have been using Jupyter following this

效果很好,我已将 VM 的大小增加到 运行 更快。

现在如何添加机器以使其 运行 更快,也许使用 Spark and/or Dataproc 或理想情况下更简单的东西?

AI Platform 笔记本基于单机。要使用计算机集群来处理数据,您可以在 Dataproc 上使用 Jupyter 笔记本。要自动配置此功能,请使用类似于以下内容的集群:

REGION=<gce_region>
gcloud beta dataproc clusters create ${CLUSTER_NAME} \ 
  --region ${REGION} \
  --optional-components ANACONDA,JUPYTER \
  --initialization-actions gs://goog-dataproc-initialization-actions-${REGION}/tony/tony.sh \
  --enable-component-gateway

这将提供一个 Spark 集群,该集群配置了 Jupyter notebook 和集群上 运行 Tensorflow 的框架 (Tony)。

有关 Dataproc 笔记本的更多信息,请查看: https://medium.com/google-cloud/apache-spark-and-jupyter-notebooks-made-easy-with-dataproc-component-gateway-fa91d48d6a5a

有关 Tony 的更多信息,请查看 this post

如果您正在寻找更多的无服务器方法,您还可以查看 AI Platform 分布式训练: