Amazon AWS 上并行为 Slurm 管理器设计的 运行 R 代码的最佳选择是什么？

Question

我目前有 R 代码，可以 运行 通过带有 shell 和批处理脚本的 Slurm 管理器。本质上，我的 shell 脚本创建了 1000 个作业数组，然后调用批处理脚本 1000 次。

我想知道如何进行此设置以及将其传输到 Amazon AWS 的最有效方法是什么。如果没有，Amazon AWS 中多次 运行 一个 R 脚本并利用尽可能多的内核的最有效方法是什么？ RStudio 服务器是一个不错的选择吗？

如有任何建议，我们将不胜感激。谢谢！

Answer 1

星团可能是个不错的选择：

StarCluster 是用于 Amazon 的弹性计算云 (EC2) 的开源集群计算工具包

它是麻省理工学院 STAR 计划的一部分，旨在弥合科学研究与课堂之间的鸿沟

您可以轻松部署任何规模的集群，并由您选择的实例组成。 NFS、MPI 和 OpenGrid 资源管理器将开箱即用。您还可以在集群上安装 SLURM。使用单个命令，您可以启动或关闭集群。

创建和管理集群的简单命令如follows:

* Create and Manage Clusters *

StarCluster allows easily creating one or more clusters of virtual machines in the cloud:

$ starcluster start -s 10 mycluster

Use the listclusters command to keep track of your clusters:

$ starcluster listclusters

Login to the master node of your cluster:

$ starcluster sshmaster mycluster

Add additional nodes to your cluster for more compute power:

$ starcluster addnode mycluster

Remove idle nodes from your cluster to minimize costs:

$ starcluster removenode mycluster node003

When you’re done using the cluster and wish to stop paying for it:

$ starcluster terminate mycluster