我有一个训练有素的 Transformer NER 模型,我想在未连接到互联网的机器上使用它。加载此类模型时,当前会将缓存文件下载到 .cache 文件夹。
要离线加载并运行模型,需要将 .cache 文件夹中的文件复制到离线机器上。然而,这些文件具有很长的、非描述性的名称,如果您想要使用多个模型,那么很难识别正确的文件。对此有什么想法吗?
模型文件示例 https://i.stack.imgur.com/0CFZj.png
处理这个问题的一种相对简单的方法是简单地“重命名”预训练模型,详细信息参见this https://github.com/huggingface/transformers/issues/2157 thread.
本质上,对于您尝试使用的任何模型,您所要做的就是这样:
from transformers import BertModel
model = BertModel.from_pretrained("bert-base-uncased")
model.save_pretrained("./my_named_bert")
该线程还详细介绍了本地模型文件夹的命名方式,请参阅 LysandreJik 的帖子:
您好,它们之所以如此命名,是因为这是确保 S3 上的模型与缓存中的模型相同的干净方法。该名称是根据 S3 上托管的文件的 etag 创建的。 [...]
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)