Huggingface - 飞马座 PegasusTokenizer 为 None

尝试使用tuner007/pegasus_paraphrase。按照中的示例进行操作Pegasus.

Pegasus模型于2019年12月18日在《PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization》中提出，作者为Jingqing Zhang、Yao Zhu、Mohammad Saleh和Peter J. Liu。

Problem:

PegasusTokenizer 无法实例化为PegasusTokenizer.from_pretrained(model_name)回报None。使用“google/pegasus-xsum”作为模型名称会导致相同的情况。

from transformers import PegasusForConditionalGeneration, PegasusTokenizer
model_name = 'tuner007/pegasus_paraphrase'
tokenizer = PegasusTokenizer.from_pretrained(model_name)

type(tokenizer)
---
NoneType

请建议如何解决它。

您需要安装分词器才能正常工作所需的句子库。要安装它，请运行：

pip install sentencepiece

实际上，发生错误是因为您在安装句子之前先导入了分词器，并且在收到错误后安装了它而没有重新启动会话。 确保在导入分词器之前安装句子片段。