以 VW 的 span_server 模式将模型存储到文件
Storing model to file in VW's span_server mode
Vowpal Wabbit 具有 --span_server
模式,可以并行训练模型。我想知道在这种情况下我应该如何指定 -f
参数?
例如 - 我将数据分成两部分,运行 如下:
$ ./cluster/spanning_tree
$ vw --span_server localhost --total 2 --node 0 -d part1.data --holdout_off
$ vw --span_server localhost --total 2 --node 1 -d part2.data --holdout_off
我希望两个 vw 实例定期通信以同步特征权重。因此,最后应该有一个同步模型可以用 -f
存储在磁盘上。我对吗?如果是这样,我应该在每个 vw 命令行中添加 -f model.file
吗?最后一个节点是否会检测到它是最后一个 运行ning 节点并将模型保存到文件?
您应该只需要一个节点来写入模型文件,因为 allreduce 将为每个节点创建相同的模型文件。
Vowpal Wabbit 具有 --span_server
模式,可以并行训练模型。我想知道在这种情况下我应该如何指定 -f
参数?
例如 - 我将数据分成两部分,运行 如下:
$ ./cluster/spanning_tree
$ vw --span_server localhost --total 2 --node 0 -d part1.data --holdout_off
$ vw --span_server localhost --total 2 --node 1 -d part2.data --holdout_off
我希望两个 vw 实例定期通信以同步特征权重。因此,最后应该有一个同步模型可以用 -f
存储在磁盘上。我对吗?如果是这样,我应该在每个 vw 命令行中添加 -f model.file
吗?最后一个节点是否会检测到它是最后一个 运行ning 节点并将模型保存到文件?
您应该只需要一个节点来写入模型文件,因为 allreduce 将为每个节点创建相同的模型文件。