保存自定义模型

Question

我已经构建了一个自定义模型，并计划将模型存储在适合我的项目的 \S3 中。

我们有两种不同的方法来保存模型

nlp.to_bytes()
nlp.to_disk()

nlp.to_disk() 需要参数中的路径。所以我选择 nlp.to_bytes(),

代码：

to_bytes_model = custom_nlp.to_bytes()
In: type(to_bytes_model) 
Out: bytes

s3 = boto3.resource('s3')    
s3.Bucket('customregex').upload_file('to_bytes_model','new_folder')

上面的 boto3 代码提示我没有文件 to_bytes_model

在将 nlp 模型直接保存到 S3 方面需要帮助。谢谢。

Answer 1

to_bytes_model 是一个内存对象。它不会写入磁盘上的文件。使用 upload_file() 根据您传入的文件名在磁盘上查找文件。请参阅文档 here。

一种方法是使用 nlp.to_disk()，然后使用一些库创建 zip/tar，然后使用 upload_file() 上传 zip/tar。如果您想跳过 zip/tar，则需要遍历文件夹中的所有文件，然后将它们一一上传。我个人更喜欢选项1。