Azure ML 调整模型超参数

Azure ML Tune Model Hyper Parameters

这是考试参考书70-774章节末尾提出的问题。

If you connect a neural network with a Tune Model Hyperparameters module configured with Random Sweep and Maximum number of runs on random sweep = 1, how many neural networks are trained during the execution of the experiment? Why? If you connect a validation dataset to the third input of the Tune Model Hyperparameters module, how many neural networks are trained now?

答案是:

Without validation dataset 11 (10 of k-fold cross validation + 1 trained with all the data with the best combination of hyperparameters). With the validation set only 1 neural network is trained, so the best model is not trained using the validation set if you provide it.

10从哪里来?据我了解,数字应该分别为 2 和 1。它不应该创建 n 次折叠,其中 n 等于运行次数吗?

当您在没有验证数据集的情况下使用 Tune Model Hyperparameters 模块时,这意味着,当您仅使用第二个输入数据端口时,该模块在交叉验证模式下工作。因此,最佳参数模型是通过对提供的数据集进行交叉验证来找到的,为此,数据集被分成 k 折。默认情况下,模块将数据分成 10 份。如果您想将数据拆分为不同的折叠数,您可以在第二个输入端连接一个分区和样本模块,选择分配给折叠并指示所需的折叠数。在许多情况下,k=5 是一个合理的选择。