使用Iguazio平台如何进行本地开发?

How can I develop locally when using Iguazio platform?

我希望能够在远程集群上执行之前在本地机器上测试我的作业和代码。理想情况下,这不需要我进行大量设置。这可能吗?

是的,这是可能的。 Iguazio 平台的一个常见开发模式是稍后在集群上的 laptop/workstation 和 move/execute 作业上使用本地版本的 MLRun 和 Nuclio。

在本地环境中安装 MLRun 和 Nuclio 有两个主要选项:

  • docker-compose - 起床和 运行ning 更简单、更容易,但仅限于执行环境中的 运行ning 作业(即 Jupyter 或 IDE).这意味着您不能将 CPU/MEM/GPU 之类的资源指定为 运行 特定作业。这种方法非常适合快速起床和 运行ning。可以找到说明 here.
  • Kubernetes - 起床和 运行ning 更复杂,但允许 运行ning 作业在其自己的容器中使用指定的 CPU/MEM/GPU 资源。这种方法更适合在本地环境中更好地模拟 Iguazio 平台的功能。可以找到说明 here.

使用上述选项之一安装 MLRun 和 Nuclio 并创建 job/function 后,您可以在本地测试它并直接从本地开发环境部署到 Iguazio 集群:

  • 为了 运行 你在本地的工作,在指定你的 MLRun 函数时使用 local=True 标志,就像在 Quick-Start guide.
  • 要远程 运行 您的作业,请指定所需的环境文件以允许连接到此 guide 中指定的 Iguazio 集群,并且 运行 您的作业 local=False