Hugging Face PEFT 调优实战附代码
使用Hugging Face PEFT Library
Hugging Face PEFT博客链接: link.
这篇博客是因为看了B站《李沐带你读论文》中《大模型时代下做科研的四个思路【论文精读·52】》链接: link.所受到启发，正好hugging face出了PEFT库，所以就打算记录下。
先快速上手使用PEFT
1.让我们考虑使用LoRA对bigscience/mt0-large【model card链接: link】进行微调的情况
备注：代码中的加号指的是增加的模块
from transformers import AutoModelForSeq2SeqLM
**+ from peft import get_peft_model, LoraConfig, TaskType**
model_name_or_path = "bigscience/mt0-large"
tokenizer_name_or_path = "bigscience/mt0-large"
2.创建PEFT方法对应的配置
peft_config = LoraConfig(
task_type=TaskType.SEQ_2_SEQ_LM, inference_mode=False, r=8, lora_alpha=32, lora_dropout=0.1
)
3.通过调用get_peft_model封装基础
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
