AWS 上用于 REST API 的 GPU?
GPU for REST API on AWS?
我有一个用个人数据训练过的 EasyOCR 模型,我需要部署它并使其在 API REST 中可用。我的项目在 Github.
问题:我看到我们不能在 AWS LAMBDA 上使用 GPU 那么我们如何部署一个可以在 AWS 上使用 GPU 的 REST API?
(当我们不使用带有 CUDA 的 GPU 时,EasyOCR 真的很慢)
您可以查看支持 GPU 的 AWS EC2 实例。有 3 或 4 个 类 可用(p3、g3、p4 和 g4)。它们应该足以满足您的用例。
确保使用 AWS 深度学习 AMI,以获得开箱即用的 NVIDIA 驱动程序和 CUDA 支持。
编辑:
参考- https://docs.aws.amazon.com/dlami/latest/devguide/gpu.html
我有一个用个人数据训练过的 EasyOCR 模型,我需要部署它并使其在 API REST 中可用。我的项目在 Github.
问题:我看到我们不能在 AWS LAMBDA 上使用 GPU 那么我们如何部署一个可以在 AWS 上使用 GPU 的 REST API?
(当我们不使用带有 CUDA 的 GPU 时,EasyOCR 真的很慢)
您可以查看支持 GPU 的 AWS EC2 实例。有 3 或 4 个 类 可用(p3、g3、p4 和 g4)。它们应该足以满足您的用例。 确保使用 AWS 深度学习 AMI,以获得开箱即用的 NVIDIA 驱动程序和 CUDA 支持。
编辑: 参考- https://docs.aws.amazon.com/dlami/latest/devguide/gpu.html