通过 Python 和 PyCharm 使用 Kubeflow Pipelines SDK 连接到 AI Platform Pipelines

Question

使用 windows 10 和 Python 3.9 与 PyCharm IDE

我正在尝试使用以下代码列出管道：

import kfp
client = kfp.Client(host='.......bb92ea05-dot-us-central2.pipelines.googleusercontent.com')
    
client.list_pipelines()

我知道宿主变量是正确的，因为我是从AI平台Pipeline上复制过来的。我遇到以下问题:

FileNotFoundError: [WinError 2] The system cannot find the file specified

我认为是找不到文件，因为程序无法连接到GCP的AI PLatform Pipeline

我通过在 Pycharm 终端中执行以下命令安装了 Kubeflow Pipeline SDK：

conda create --name mlpipeline python=3.7
conda 激活 mlpipeline
pip3 安装 kfp --upgrade --user

当我运行:

kfp diagnose_me

我收到以下命令错误：

Google Cloud SDK is not installed, gcloud, gsutil and kubectl are required for this app to run. Please follow instructions at https://cloud.google.com/sdk/install to install the SDK

我试过了

正在安装 Google Cloud SDK 并初始化 gcloud（虽然当我运行命令时它说 'Python not found'）
使用 gcloud 命令安装 kubectl 和 gsutil

Answer 1

我转到 Ubuntu 并从那里解决了问题。

我做了什么：

已安装 Google Cloud SDK 并对其进行配置：https://cloud.google.com/sdk/docs/quickstart

同时使用 gcloud components install component_id 命令安装 gsutil 和 kubectl

安装 KFP SDK：运行在终端中输入以下命令：

 apt-get update; apt-get install -y wget bzip2
 wget https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh
 bash Miniconda3-latest-Linux-x86_64.sh

 conda create --name mlpipeline python=3.7   
 conda activate mlpipeline

 pip3 install kfp --upgrade

Answer 2

我运行遇到了完全相同的问题。我使用 Ubuntu OS 而不是 Windows OS 修复了它。使用 VM 并在 VM 中运行 Ubuntu。 Ubuntu 环境更易于设置和管理。

通过 Python 和 PyCharm 使用 Kubeflow Pipelines SDK 连接到 AI Platform Pipelines

Connecting to AI Platform Pipelines using the Kubeflow Pipelines SDK with Python and PyCharm

python

kubernetes

kubeflow

kubeflow-pipelines

google-cloud-ai-platform-pipelines