将预训练的深度学习模型导入 Foundry Codeworkbooks

Question

如何将本地的 h5 模型从 Foundry 导入到代码工作簿中？我想使用拥抱面库，如下所示，在其文档中，from_pretrained 方法需要 URL 预训练模型所在位置的路径。

理想情况下，我想将模型下载到我的本地机器上，将其上传到 Foundry，然后让 Foundry 读取所述模型。

作为参考，我正在尝试在代码工作簿或代码创作中执行此操作。看起来你可以直接使用那里的文件，但我已经阅读了文档并且给定的示例是针对 CSV 文件的，而这个模型包含各种文件，如 h5 和 json 格式。想知道如何访问这些文件并将它们从 transformers 包

传递到 from_pretrained 方法

相关链接： https://huggingface.co/transformers/quicktour.html 预训练模型： https://huggingface.co/distilbert-base-uncased-finetuned-sst-2-english/tree/main

谢谢！

Answer 1

我已经在平台上添加了变形金刚（抱脸）包。

关于上传包您可以按照以下步骤操作：

将数据集与模型相关文件用作代码工作簿转换的输入
使用pythons raw file access访问数据集内容：https://docs.python.org/3/library/filesys.html
使用pythons内置的临时文件建立一个文件夹并添加步骤2中的文件，https://docs.python.org/3/library/tempfile.html#tempfile.mkdtemp , https://www.kite.com/python/answers/how-to-write-a-file-to-a-specific-directory-in-python
将临时文件（tempfile.mkdtemp()return绝对路径）传入from_pretrained方法

import tempfile

def sample (dataset_with_model_folder_uploaded):
  full_folder_path = tempfile.mkdtemp()

  all_file_names = ['config.json', 'tf_model.h5', 'ETC.ot', ...]

  for file_name in all_file_names:
    with dataset_with_model_folder_uploaded.filesystem().open(file_name) as f:
      pathOfFile = os.path.join(fullFolderPath, file_name)
      newFile = open(pathOfFile, "w")
      newFile.write(f.read())
      newFile.close()
  
  model = TF.DistilSequenceClassification.from_pretrained(full_folder_path)
  tokenizer = TF.Tokenizer.from_pretrained(full_folder_path)

谢谢，

将预训练的深度学习模型导入 Foundry Codeworkbooks

Import pre-trained Deep Learning Models into Foundry Codeworkbooks

palantir-foundry

foundry-code-workbooks