使用 AI Platform 进行超参数调优会多次尝试相同的值

Question

我在 Google AI Platform 上有一个小型机器学习模型。它接受多个输入特征并预测一个输出。超参数调整用于尝试不同的输入特性集，以查看哪种效果更好，我的配置 (yaml) 文件如下所示：

trainingInput:
 scaleTier: STANDARD_1
 hyperparameters:
 goal: MINIMIZE
 maxTrials: 4
 maxParallelTrials: 1
 hyperparameterMetricTag: rmse
 params:
   parameterName: feature_set
   type: CATEGORICAL
   categoricalValues: ["people_per_bedroom", "num_rooms,housing_median_age", "num_rooms,housing_median_age,people_per_bedroom", "num_rooms"]

好像可以，但是看到AI Platform有的值试了两次，有的根本没试过，我很疑惑。

有人可以澄清这种行为吗？

Answer 1

AI Platform 超参数调优使用的默认算法是贝叶斯优化算法。如果您想尝试 feature_set 参数的所有可能值，您可以在超参数规范中将算法字段更改为 GRID_SEARCH。

这是关于算法类型的文档：https://cloud.google.com/ml-engine/reference/rest/v1/projects.jobs#Algorithm

使用 AI Platform 进行超参数调优会多次尝试相同的值

Hyperparameter tuning with AI Platfrom tries same values multiple times

google-cloud-ml