Amazon EC2 上的深度学习库,具有 CPU 和 GPU 对卷积神经网络的支持

Library for deep learning on Amazon EC2 with CPU and GPU support for convolutional neural network

我想在一堆图像上训练 CNN。我想 运行 它在 Amazon EC2 CPU 或 GPU 集群上。对于集群上的 运行ning 深度学习,我认为一些选项是:

  1. h2o(带 Spark)
  2. 咖啡
  3. Theano

我不确定这些选项中的哪一个适合我的需要。我通读了 h2o documentation on deep learning,他们似乎不支持 CNN。关于我应该如何进行的任何想法?

另外一个问题: 如何将图像上传到集群以训练 CNN?我对集群计算还很陌生。

如果您按照此处的说明进行操作 https://github.com/deeplearningparis/dl-machine,那么您可以使用 Theano 和 Torch 设置 AMI 映像。配置上还有一个 PR,默认情况下也有 caffe(如果你需要它,只需在实例启动后检查分支和 运行 安装脚本)。

刚看到你的问题。在此 tutorial 中,您还将了解如何设置带有 GPU 的 Amazon 实例以 运行 深度学习框架。

AMI(~计算机型号)预配置为:

  • Ubuntu Server 16.04 as OS
  • Anaconda 4.2.0 (scientific Python distribution)
  • Python 3.5
  • Cuda 8.0 (“parallel computing platform and programming model”, used to send code to the GPU)
  • cuDNN 5.1 (Cuda’s library for Deep Learning used by Tensorflow and Theano)
  • Tensorflow 0.12 for Python 3.5 and GPU-enabled
  • Keras 1.1.2 (use with Tensorflow backend)

我相信您可以将此设置与 elastic GPUs to scale the system according to your needs or use a P2 instance

一起使用

无论如何,您可以按照教程使用另一个 AMI,例如 Amazon's Deep Learning AMI

AWS 提供深度学习 AMI,其中安装了各种深度学习框架,涵盖了您的用例,因为它具有 Theano 和 Caffe。 Link 到深度学习 AMI https://aws.amazon.com/machine-learning/amis/

How do I upload my images to the cluster for training the CNN? I am fairly new to cluster computing?

有许多 AWS 存储服务可以让您存储您的集群可以访问的训练数据(图像)。其中很少

  1. S3

  2. EBS

  3. EFS

    探索它们,看看哪种最适合您。