在 pytorch 中网格搜索超参数 / lua

Question

我是 torch/lua 的新手，正在尝试评估一些不同的优化算法和每个优化算法的不同参数。

算法：optim.sgdoptim.lbfgs

参数：

• learning_rate: {1e-1, 1e-2, 1e-3}
• weight_decay: {1e-1, 1e-2}

所以我想要实现的是尝试超参数的每个组合，并为每个算法获得最佳参数集。

那么有没有类似的东西：

param_grid = [
 {'C': [1, 10, 100, 1000], 'kernel': ['linear']},
 {'C': [1, 10, 100, 1000], 'gamma': [0.001, 0.0001], 'kernel': ['rbf']},
]

as in http://scikit-learn.org/stable/modules/grid_search.html 可以在torch中处理吗？

有什么建议就好了！

Answer 1

试试这个正在开发的超级优化库： https://github.com/nicholas-leonard/hypero