Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
浅析GPT2中的autoregressive和BERT的autoencoding源码实现
经常使用BERT来做研究 因此对Encoder的架构较为熟悉 但是从来没有了解过GPT这样的Decoder架构 尤其对自回归的形式不知道源码是如何实现的 为了方便对比和讨论 接来下所探讨的源码都是基于HuggingFace这个框架的 Ber
学习笔记
炼丹记录
人工智能
深度学习
Huggingface
past_key_values在P-TuningV2中的巧用
背景 目前HuggingFace发布了关于微调LLMs的方法包 Parameter Efficient Fine Tuning PEFT 其中包含下面6种方法 LoRA LORA LOW RANK ADAPTATION OF LARGE L
学习笔记
炼丹记录
深度学习
人工智能
NLP
HuggingFace——Accelerate的使用
Overview Accelerate is a library that enables the same PyTorch code to be run across any distributed configuration by ad
炼丹记录
深度学习
人工智能
机器学习
Huggingface
Hugging Face——MLM预训练掩码语言模型方法
对于许多涉及 Transformer 模型的 NLP 程序 我们可以简单地从 Hugging Face Hub 中获取一个预训练的模型 然后直接在你的数据上对其进行微调 以完成手头的任务 只要用于预训练的语料库与用于微调的语料库没有太大区别
炼丹记录
Huggingface
Pytorch
掩码模型
MLM