从数据实验室实例内部创建实例

Creating an instance from inside a datalab instance

嗨,有人知道如何从 jupyter notebook 创建和 运行 实例 and/or 云中的数据实验室实例吗?

我正在尝试 运行 大型计算,我想将任务划分到云中的多个 VM 中。无论如何,我可以从我的数据实验室笔记本中创建并 运行 一个实例吗?

例如: 我想 运行 在不同的 VM 中循环 10 次迭代的每个循环。为此,我需要在我的代码所在的数据实验室笔记本中创建并 运行 一个虚拟机。 感谢您的帮助!

编辑: 这是我正在使用的启动脚本示例。

gcloud 计算实例创建实例 11 \

--元数据启动脚本=‘#! /bin/bash

sudo 更新

sudo apt-get 安装 python3.6

wget https://bootstrap.pypa.io/get-pip.py

sudo python get-pip.py

pip --version

pip 安装pandas--用户

pip 安装scipy--用户

pip install scikit-learn --user

pip 安装 sklearn —用户

pip install matplotlib --user

gsutil cp gs://bucket/datafile /主目录

gsutil cp gs://bucket/pythonfile /homedirectory

' --machine-type n1-standard-32

你的问题的评论很好,我同意。安装适当的依赖项后,您可以调用 gcloud 命令从 Jupyter notebook 启动虚拟机。例如,要在 us-east1 中启动一个 n1-standard-1 Debian 9 实例:

gcloud compute instances create <name> --image-family debian-9 
    --machine-type=n1-standard-1 --zone=us-east1-b

I was wondering how I'd pass commands to the VM without having to manually SSH into it. I tried using a startup script but it doesn't get executed.

执行此操作的云原生机制确实是使用启动脚本来确保您的机器构建可重现,而不是通过 SSH 和 运行ning 命令在 shell.

如果您在 运行 启动脚本时遇到问题,我建议创建一个实例并尝试以 root 用户的身份手动 运行 它。否则,post 您正在使用的脚本示例,以便我们进一步提供帮助。


最后,作为 ,您可能试图通过滥用您正在运行的框架来解决错误的问题。如果这证明具有挑战性,您应该考虑退后一步,使用本机 Google 工具和您自己的代码来定义更强大的机制来实现您的要求。