Amazon EC2 上的深度学习库,具有 CPU 和 GPU 对卷积神经网络的支持
Library for deep learning on Amazon EC2 with CPU and GPU support for convolutional neural network
我想在一堆图像上训练 CNN。我想 运行 它在 Amazon EC2 CPU 或 GPU 集群上。对于集群上的 运行ning 深度学习,我认为一些选项是:
- h2o(带 Spark)
- 咖啡
- Theano
我不确定这些选项中的哪一个适合我的需要。我通读了 h2o documentation on deep learning,他们似乎不支持 CNN。关于我应该如何进行的任何想法?
另外一个问题:
如何将图像上传到集群以训练 CNN?我对集群计算还很陌生。
如果您按照此处的说明进行操作 https://github.com/deeplearningparis/dl-machine,那么您可以使用 Theano 和 Torch 设置 AMI 映像。配置上还有一个 PR,默认情况下也有 caffe(如果你需要它,只需在实例启动后检查分支和 运行 安装脚本)。
刚看到你的问题。在此 tutorial 中,您还将了解如何设置带有 GPU 的 Amazon 实例以 运行 深度学习框架。
AMI(~计算机型号)预配置为:
- Ubuntu Server 16.04 as OS
- Anaconda 4.2.0 (scientific Python distribution)
- Python 3.5
- Cuda 8.0 (“parallel computing platform and programming model”, used to send code to the GPU)
- cuDNN 5.1 (Cuda’s library for Deep Learning used by Tensorflow and Theano)
- Tensorflow 0.12 for Python 3.5 and GPU-enabled
- Keras 1.1.2 (use with Tensorflow backend)
我相信您可以将此设置与 elastic GPUs to scale the system according to your needs or use a P2 instance
一起使用
无论如何,您可以按照教程使用另一个 AMI,例如 Amazon's Deep Learning AMI
AWS 提供深度学习 AMI,其中安装了各种深度学习框架,涵盖了您的用例,因为它具有 Theano 和 Caffe。
Link 到深度学习 AMI https://aws.amazon.com/machine-learning/amis/。
How do I upload my images to the cluster for training the CNN? I am
fairly new to cluster computing?
有许多 AWS 存储服务可以让您存储您的集群可以访问的训练数据(图像)。其中很少
S3
EBS
EFS
探索它们,看看哪种最适合您。
我想在一堆图像上训练 CNN。我想 运行 它在 Amazon EC2 CPU 或 GPU 集群上。对于集群上的 运行ning 深度学习,我认为一些选项是:
- h2o(带 Spark)
- 咖啡
- Theano
我不确定这些选项中的哪一个适合我的需要。我通读了 h2o documentation on deep learning,他们似乎不支持 CNN。关于我应该如何进行的任何想法?
另外一个问题: 如何将图像上传到集群以训练 CNN?我对集群计算还很陌生。
如果您按照此处的说明进行操作 https://github.com/deeplearningparis/dl-machine,那么您可以使用 Theano 和 Torch 设置 AMI 映像。配置上还有一个 PR,默认情况下也有 caffe(如果你需要它,只需在实例启动后检查分支和 运行 安装脚本)。
刚看到你的问题。在此 tutorial 中,您还将了解如何设置带有 GPU 的 Amazon 实例以 运行 深度学习框架。
AMI(~计算机型号)预配置为:
- Ubuntu Server 16.04 as OS
- Anaconda 4.2.0 (scientific Python distribution)
- Python 3.5
- Cuda 8.0 (“parallel computing platform and programming model”, used to send code to the GPU)
- cuDNN 5.1 (Cuda’s library for Deep Learning used by Tensorflow and Theano)
- Tensorflow 0.12 for Python 3.5 and GPU-enabled
- Keras 1.1.2 (use with Tensorflow backend)
我相信您可以将此设置与 elastic GPUs to scale the system according to your needs or use a P2 instance
一起使用无论如何,您可以按照教程使用另一个 AMI,例如 Amazon's Deep Learning AMI
AWS 提供深度学习 AMI,其中安装了各种深度学习框架,涵盖了您的用例,因为它具有 Theano 和 Caffe。 Link 到深度学习 AMI https://aws.amazon.com/machine-learning/amis/。
How do I upload my images to the cluster for training the CNN? I am fairly new to cluster computing?
有许多 AWS 存储服务可以让您存储您的集群可以访问的训练数据(图像)。其中很少
S3
EBS
EFS
探索它们,看看哪种最适合您。