实际在云中训练 google 云 ML 引擎 - 方法说明
training google cloud ml engine actually in the cloud- clarification on the approach
我正在尝试使用 google 云 ML 引擎为 sklearn 模型实现基于云的预测。我能够做到这一点,但似乎即使在使用 REST API 时,它也总是引用一个训练模块,该模块实际上是离线训练的/或在标准 python3 运行 时间上有安装了 sklearn,而不是任何 google 服务:
training_inputs = {'scaleTier': 'BASIC',
#'masterType': 'standard',
#'parameterServerType': 'large_model',
#'workerCount': 9,
#'parameterServerCount': 3,
'packageUris': ['gs://pathto/trainer/package/packages/trainer-0.0.0.tar.gz'],
'pythonModule': 'trainer.task',
'region': 'europe-west1',
'jobDir': ,
'runtimeVersion': '1.12',
'pythonVersion': '3.5'}
所以,在我看来,无论是使用 gcloud(命令行提交)还是 REST API via:
request = ml.projects().jobs().create(body=job_spec, parent=project_id)
实际训练是由我的 python 代码 运行ning sklearn 完成的-即 google 云 ML 引擎它所做的只是从 sklearn [=19= 接收模型规范]model.bst 文件,然后 运行 实际预测。我的理解正确吗?感谢您的帮助,
为了回答你的问题,这里有一些关于ML Engine的背景知识:命令中引用的模块是the main module which starts whole training process. This process will include the training file and evaluation file in the code as in this example,ML Engine将负责根据这些文件创建模型。因此,当向 ML Engine 提交训练作业时,训练过程将在每个训练步骤使用 ML Engine 资源来创建模型,该模型可以部署到 ML Engine 中进行预测。
对于你的问题,ML Engine不会干扰训练数据集和模型编码。这就是为什么它需要带有模型规范和代码的训练模块。它为模型训练和预测提供资源,管理不同版本的模型。此 document 中的图表应该是 ML 引擎功能的良好参考。
我正在尝试使用 google 云 ML 引擎为 sklearn 模型实现基于云的预测。我能够做到这一点,但似乎即使在使用 REST API 时,它也总是引用一个训练模块,该模块实际上是离线训练的/或在标准 python3 运行 时间上有安装了 sklearn,而不是任何 google 服务:
training_inputs = {'scaleTier': 'BASIC',
#'masterType': 'standard',
#'parameterServerType': 'large_model',
#'workerCount': 9,
#'parameterServerCount': 3,
'packageUris': ['gs://pathto/trainer/package/packages/trainer-0.0.0.tar.gz'],
'pythonModule': 'trainer.task',
'region': 'europe-west1',
'jobDir': ,
'runtimeVersion': '1.12',
'pythonVersion': '3.5'}
所以,在我看来,无论是使用 gcloud(命令行提交)还是 REST API via:
request = ml.projects().jobs().create(body=job_spec, parent=project_id)
实际训练是由我的 python 代码 运行ning sklearn 完成的-即 google 云 ML 引擎它所做的只是从 sklearn [=19= 接收模型规范]model.bst 文件,然后 运行 实际预测。我的理解正确吗?感谢您的帮助,
为了回答你的问题,这里有一些关于ML Engine的背景知识:命令中引用的模块是the main module which starts whole training process. This process will include the training file and evaluation file in the code as in this example,ML Engine将负责根据这些文件创建模型。因此,当向 ML Engine 提交训练作业时,训练过程将在每个训练步骤使用 ML Engine 资源来创建模型,该模型可以部署到 ML Engine 中进行预测。
对于你的问题,ML Engine不会干扰训练数据集和模型编码。这就是为什么它需要带有模型规范和代码的训练模块。它为模型训练和预测提供资源,管理不同版本的模型。此 document 中的图表应该是 ML 引擎功能的良好参考。