MLR：在嵌套重采样中使用顺序优化的过程究竟如何？
MLR: How exactly is the process when using sequential optimization in nested resampling?
这是一道理解题。假设我想进行嵌套交叉验证（例如 outer:5 x inner:4）并使用顺序优化来找到最佳参数集。调整参数发生在内部循环中。在进行正常的网格搜索时，我训练三折并在每个超参数组合的内循环上测试 1 折，然后选择最佳参数集。然后以与内循环类似的方式在外循环的新测试折叠上训练和评估内循环的超参数组合。
但由于是网格搜索，所有的参数都是先验已知的。使用顺序优化时如何确定新的参数集？新建议的点是否取决于先前评估的点，对所有内部折叠取平均值？但这在我看来直觉上是错误的，因为这就像比较苹果和橘子。我希望我的问题不会太混乱。
我想你可能对这里的"sequential optimization"这个词有误解。
这可能意味着两件事，具体取决于上下文：
在调整上下文中，该术语有时用作 "forward feature selection" (FFS) 的同义词。在这种情况下，不会进行网格搜索。将数据集的变量依次添加到模型中，以查看是否实现了更好的性能。
当您在执行 "grid search" 时使用该术语时，您很可能只是表示该过程是 运行 顺序（即在一个核心上，一次一个设置).与之对应的是 "parallel grid search"，您可以在其中使用多个核心同时评估预定义的网格选择。
这是一道理解题。假设我想进行嵌套交叉验证（例如 outer:5 x inner:4）并使用顺序优化来找到最佳参数集。调整参数发生在内部循环中。在进行正常的网格搜索时，我训练三折并在每个超参数组合的内循环上测试 1 折，然后选择最佳参数集。然后以与内循环类似的方式在外循环的新测试折叠上训练和评估内循环的超参数组合。
但由于是网格搜索，所有的参数都是先验已知的。使用顺序优化时如何确定新的参数集？新建议的点是否取决于先前评估的点，对所有内部折叠取平均值？但这在我看来直觉上是错误的，因为这就像比较苹果和橘子。我希望我的问题不会太混乱。
我想你可能对这里的"sequential optimization"这个词有误解。
这可能意味着两件事，具体取决于上下文：
在调整上下文中，该术语有时用作 "forward feature selection" (FFS) 的同义词。在这种情况下，不会进行网格搜索。将数据集的变量依次添加到模型中，以查看是否实现了更好的性能。
当您在执行 "grid search" 时使用该术语时，您很可能只是表示该过程是 运行 顺序（即在一个核心上，一次一个设置).与之对应的是 "parallel grid search"，您可以在其中使用多个核心同时评估预定义的网格选择。