是否可以使用 TensorFlowJS 从 OpenAI GPT-2 生成文本?
如果不是,限制是什么,例如模型格式或...?
我看不出有任何理由不这样做,除了 gpt-2 中的某些操作可能不受 tensorflowjs 支持。
我不知道该怎么做,但这是一个很好的起点:
install.sh
python3 -m pip install -q git+https://github.com/huggingface/transformers.git
python3 -m pip install tensorflow
save.py
from transformers import TFGPT2LMHeadModel, GPT2Tokenizer
tokenizer = GPT2Tokenizer.from_pretrained("gpt2")
# add the EOS token as PAD token to avoid warnings
model = TFGPT2LMHeadModel.from_pretrained("gpt2", pad_token_id=tokenizer.eos_token_id)
model.save("./test_gpt2")
这将为您提供一个 SavedModel 文件。现在您可以尝试找出输入和输出节点,并使用tensorflowjs_converter
尝试并转换它。指针:https://www.tensorflow.org/js/tutorials/conversion/import_saved_model https://www.tensorflow.org/js/tutorials/conversion/import_saved_model.
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)