运行 AWS 上的 doc2vec 的哪个服务?

Which service to run doc2vec on AWS?

我想为我的模型找到最佳超参数,但在总共 486 个排列和 200k 文档中调整 6 个元参数需要一段时间。这就是我考虑使用 AWS 上的免费积分的原因。理想情况下,我想 运行 我的脚本并获得一个 .csv 文件作为输出。

vector_size = [100, 200, 300]
window = [2, 5, 10]
epochs = [10, 20, 30]
count =[2, 5, 10] 
dm = [0,1]
sample = [10e-4, 10e-5, 10e-6 ]

问题是我从未使用过 AWS,而且不同服务的数量太多了。你们能给我提示哪种服务适合我的问题吗?

EC2 是最初的核心服务之一,它为您提供云中的虚拟系统,具有多种 CPU/RAM 选项,运行 任何您想要的东西。您可以努力启动 468 个节点来并行训练和评估每个模型,保存结果,在 运行 完成后立即关闭每个节点。

(可能有更新的更高级别的服务提供一些其他类型的作业管理帮助,但 EC2 是原始的通用云中节点。)

元优化的另一个想法:

过度 epochs 永远不会造成伤害 - 只会造成浪费。因此,您可以只用最大值 epochs=30 进行大测试,并且相当有信心其他最好的参数,即最大值,不会随着 epochs 的减少而有太大改善。

(但是,特别是如果你需要经常重新 运行 工作,30 可能只比一些较小的 epoch 计数略好 - 所以你可以单独 运行 测试来平衡time/cost和评价质量。)