如何在 GPU 上 运行 LASER 句子嵌入?
How to run LASER sentence embeddings on GPU?
我有一个 1100 万个句子语料库,我需要对其进行矢量化以进行进一步比较。一切正常,除了它在 CPU 上非常慢(每秒约 6 个句子)。
LASER 库的调用非常简单,没有更多的参数需要调整。
from laserembeddings import Laser
laser = Laser()
vector = laser.embed_sentences("this is a test", lang="en")
他们在 LASER 主页上声称:
It delivers extremely fast performance, processing up to 2,000
sentences per second on GPU.
如何使用我的 GPU 来完成这项任务?
解决方案:
我安装了支持 CUDA 的 PyTorch,LASER 直接开始使用 GPU:
我有一个 1100 万个句子语料库,我需要对其进行矢量化以进行进一步比较。一切正常,除了它在 CPU 上非常慢(每秒约 6 个句子)。 LASER 库的调用非常简单,没有更多的参数需要调整。
from laserembeddings import Laser
laser = Laser()
vector = laser.embed_sentences("this is a test", lang="en")
他们在 LASER 主页上声称:
It delivers extremely fast performance, processing up to 2,000 sentences per second on GPU.
如何使用我的 GPU 来完成这项任务?
解决方案:
我安装了支持 CUDA 的 PyTorch,LASER 直接开始使用 GPU: