google 云平台vertextAI 运行 后端代码可以不输出吗?
Could google cloud platform vertextAI running code on backend without output?
问题是我的本地网络连接不稳定,我可以通过 Jupyter 运行 代码到交互式 google 云平台 vertexAI,但似乎总是有输出 returns 回到 Jupyter 界面。所以当我的本地网络连接中断时,代码运行ning也中断了。
有什么方法可以让代码 运行 在 vertexAI 后端?然后最终可以将输出写入日志文件。
这可能是一个非常基本的问题。谢谢
为了能够运行你的笔记本在后台,我做了以下步骤:
- 在 GCP > Vertex AI 中打开 Jupyter notebook > Workbench > 打开 Jupyterlab
- 打开一个终端
- 使用下面的命令。
nohup jupyter nbconvert --to notebook --execute test.ipynb &
nohup
和 &
添加,以便命令将 运行 在后台
- 实际命令的输出日志将附加到文件 nohup.out
- 使用
jupyter nbconvert --to notebook --execute test.ipynb
执行--execute
后指定的笔记本。 --to notebook
将创建一个新笔记本,其中包含已执行的笔记本及其日志。
- 除了notebook以外还有其他格式可以转换。您可以在 nbconvert documentation.
中阅读更多内容
为了测试,我制作了笔记本 (test.ipynb),它有一个循环 运行s 持续 1.5 小时,应该模拟一个漫长的过程。
import time
for x in range(1,1080):
print(x)
time.sleep(5)
我 运行 上面提供的命令关闭了我的笔记本和与 GCP 相关的任何东西。 1.5 小时后,我打开笔记本,终端显示完成。
终端在 1.5 小时后回来查看:
nohup.out的内容:
它创建了一个名为 "test.nbconvert.ipynb" 的新笔记本,其中包含来自 test.ipynb 的代码及其输出。
test.nbconvert.ipynb 的片段,如下所示。它完成了最多 1080 次迭代的循环,耗时 1.5 小时:
问题是我的本地网络连接不稳定,我可以通过 Jupyter 运行 代码到交互式 google 云平台 vertexAI,但似乎总是有输出 returns 回到 Jupyter 界面。所以当我的本地网络连接中断时,代码运行ning也中断了。
有什么方法可以让代码 运行 在 vertexAI 后端?然后最终可以将输出写入日志文件。
这可能是一个非常基本的问题。谢谢
为了能够运行你的笔记本在后台,我做了以下步骤:
- 在 GCP > Vertex AI 中打开 Jupyter notebook > Workbench > 打开 Jupyterlab
- 打开一个终端
- 使用下面的命令。
nohup jupyter nbconvert --to notebook --execute test.ipynb &
nohup
和&
添加,以便命令将 运行 在后台- 实际命令的输出日志将附加到文件 nohup.out
- 使用
jupyter nbconvert --to notebook --execute test.ipynb
执行--execute
后指定的笔记本。--to notebook
将创建一个新笔记本,其中包含已执行的笔记本及其日志。 - 除了notebook以外还有其他格式可以转换。您可以在 nbconvert documentation. 中阅读更多内容
为了测试,我制作了笔记本 (test.ipynb),它有一个循环 运行s 持续 1.5 小时,应该模拟一个漫长的过程。
import time
for x in range(1,1080):
print(x)
time.sleep(5)
我 运行 上面提供的命令关闭了我的笔记本和与 GCP 相关的任何东西。 1.5 小时后,我打开笔记本,终端显示完成。
终端在 1.5 小时后回来查看:
nohup.out的内容:
它创建了一个名为 "test.nbconvert.ipynb" 的新笔记本,其中包含来自 test.ipynb 的代码及其输出。
test.nbconvert.ipynb 的片段,如下所示。它完成了最多 1080 次迭代的循环,耗时 1.5 小时: