P-tuning v2 利用深度提示调优,即对预训练变压器的每一层输入应用连续提示。 Deep prompt tuning 增加了连续提示的能力,并缩小了跨各种设置进行微调的差距,特别是对于小型模型和艰巨的任务。
感谢@rainatam 为发布重新组织代码的共同努力!
常见问题
一些读者注意到 SuperGLUE 中 P-tuning (v1) 和 P-tuning v2 之间的“不匹配”:这是因为在 P-tuning 的 SuperGLUE 实验中,为了与 PET 进行公平比较,我们遵循其实验设置,其中 backbone 预训练模型参数与连续提示嵌入联合调整;而在 P-tuning v2 中,我们遵循 Prefix tuning 和 Lester 等人的参数高效设置,其中骨干预训练模型参数被冻结。