程序员经验分享-hwhale

【AI实战】开源大语言模型LLMs汇总

2023-11-13

大语言模型

大语言模型（LLM）是指使用大量文本数据训练的深度学习模型，可以生成自然语言文本或理解语言文本的含义。大语言模型可以处理多种自然语言任务，如文本分类、问答、对话等，是通向人工智能的一条重要途径。来自百度百科

  • 发展历史

    2020年9月，OpenAI授权微软使用GPT-3模型，微软成为全球首个享用GPT-3能力的公司。2022年，Open AI发布ChatGPT模型用于生成自然语言文本。2023年3月15日，Open AI发布了多模态预训练大模型GPT4.0。

    2023年2月，谷歌发布会公布了聊天机器人Bard，它由谷歌的大语言模型LaMDA驱动。2023年3月22日，谷歌开放Bard的公测，首先面向美国和英国地区启动，未来逐步在其它地区上线。

    2023年2月7日，百度正式宣布将推出文心一言，3月16日正式上线。文心一言的底层技术基础为文心大模型，底层逻辑是通过百度智能云提供服务，吸引企业和机构客户使用API和基础设施，共同搭建AI模型、开发应用，实现产业AI普惠。

开源大语言模型

本文列举了截止到 2023 年 6 月 8 日开源的大语言模型

1、LLaMA

  • 简介
    meta 开源的 LLaMA
    LLaMA完全是在公共开源预训练数据上训练。并且取得相当不错的效果，LaMA-13B在绝大部分的benchmarks上超越了GPT-3(175 B)，并且LLaMA-65B的效果能够和最好的大模型，Chinchilla-70B以及PaLM-540B相比。
    Meta宣称会将LLaMA开源出来的。

  • 论文及代码
    论文：https://arxiv.org/abs/2302.13971v1
    代码：https://github.com/facebookresearch/llama

2、ChatGLM - 6B

  • 简介
    ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。

  • 论文及代码
    论文：
    代码：https://github.com/THUDM/ChatGLM-6B
    官网：https://chatglm.cn/blog

  • 硬件需求
    在这里插入图片描述

  • 开源协议
    本仓库的代码依照 Apache-2.0 协议开源，ChatGLM-6B 模型的权重的使用则需要遵循 Model License。

【个人认为】 ChatGLM-6B 是目前开源的中文大语言模型的佼佼者。

3、Alpaca

  • 简介

    Stanford Alpaca: An Instruction-following LLaMA Model
    This is the repo for the Stanford Alpaca project, which aims to build and share an instruction-following LLaMA model. The repo contains:

    The 52K data used for fine-tuning the model.
    The code for generating the data.
    The code for fine-tuning the model.
    The code for recovering Alpaca-7B weights from our released weight diff.
    Note: We thank the community for feedback on Stanford-Alpaca and supporting our research. Our live demo is suspended until further notice.

    Usage and License Notices: Alpaca is intended and licensed for research use only. The dataset is CC BY NC 4.0 (allowing only non-commercial use) and models trained using the dataset should not be used outside of research purposes. The weight diff is also CC BY NC 4.0 (allowing only non-commercial use).

  • 论文及代码
    论文：https://arxiv.org/abs/2212.10560
    代码：https://github.com/tatsu-lab/stanford_alpaca

4、PandaLLM

  • 简介

    Panda: 海外中文开源大语言模型

    Panda 系列语言模型目前基于 Llama-7B, -13B, -33B, -65B 进行中文领域上的持续预训练, 使用了接近 15M 条数据, 并针对推理能力在中文 benchmark 上进行了评测, 希望能够为中文自然语言处理领域提供具有泛用性的通用基础工具.

    我们的 Panda 模型以及训练涉及的中文数据集将以开源形式发布，任何人都可以免费使用并参与开发。我们欢迎来自全球的开发者一起参与到该项目中，共同推动中文自然语言处理技术的发展。我们后续会进一步完善针对中文语言模型基础能力的评测，同时开放更大规模的模型。

  • 论文及代码
    论文：https://arxiv.org/pdf/2305.03025v1.pdf
    代码：https://github.com/dandelionsllm/pandallm

  • 模型版本：
    在这里插入图片描述

  • 模型测评
    在这里插入图片描述

5、GTP4ALL

  • 简介
    Open-source assistant-style large language models that run locally on your CPU.

GPT4All is made possible by our compute partner Paperspace.

GPT4All is an ecosystem to train and deploy powerful and customized large language models that run locally on consumer grade CPUs.

A GPT4All model is a 3GB - 8GB file that you can download and plug into the GPT4All open-source ecosystem software. Nomic AI supports and maintains this software ecosystem to enforce quality and security alongside spearheading the effort to allow any person or enterprise to easily train and deploy their own on-edge large language models.

6、DoctorGLM （MedicalGPT-zh v2）

7、MedicalGPT-zh v1

  • 简介
    本项目开源了基于ChatGLM-6B LoRA 16-bit指令微调的中文医疗通用模型。基于共计28科室的中文医疗共识与临床指南文本，我们生成医疗知识覆盖面更全，回答内容更加精准的高质量指令数据集。以此提高模型在医疗领域的知识与对话能力。

  • 论文及代码
    论文：https://arxiv.org/pdf/2304.01097.pdf
    代码：https://github.com/MediaBrain-SJTU/MedicalGPT-zh

  • 数据集构建
    在这里插入图片描述

8、Cornucopia-LLaMA-Fin-Chinese

  • 简介
    聚宝盆(Cornucopia): 基于中文金融知识的LLaMA微调模型
    本项目开源了经过中文金融知识指令精调/指令微调(Instruct-tuning) 的LLaMA-7B模型。通过中文金融公开数据+爬取的金融数据构建指令数据集，并在此基础上对LLaMA进行了指令微调，提高了 LLaMA 在金融领域的问答效果。

    基于相同的数据，后期还会利用GPT3.5 API构建高质量的数据集，另在中文知识图谱-金融上进一步扩充高质量的指令数据集。

  • 论文和代码

    代码：https://github.com/jerry1993-tech/Cornucopia-LLaMA-Fin-Chinese/tree/main

  • 模型下载
    在这里插入图片描述

  • 数据集构建
    目前采用了公开和爬取的中文金融领域问答数据，涉及到保险、理财、股票、基金、贷款、信用卡、社保等。

    指令微调的训练集数据示例如下：

      问题：办理商业汇票应遵守哪些原则和规定？

  回答: 办理商业汇票应遵守下列原则和规定：1.使用商业汇票的单位，必须是在银行开立帐户的法人；2.商业汇票在同城和异地均可使用；3.签发商业汇票必须以合法的商品交易为基础；4.经承兑的商业汇票，可向银行贴现；5.商业汇票一律记名，允许背书转让；6.商业汇票的付款期限由交易双方商定，最长不得超过6个月；7.商业汇票经承兑后，承兑人即付款人负有到期无条件交付票款的责任；8.商业汇票由银行印制和发售。

    针对现有数据仍存在不准确和不完善的地方，后续我们会利用GPT3.5接口围绕中文金融知识库进一步构建与拓展问答数据，设置多种Prompt形式来充分利用知识迭代更新数据集。

9、minGPT

  • 简介
    A PyTorch re-implementation of GPT, both training and inference. minGPT tries to be small, clean, interpretable and educational, as most of the currently available GPT model implementations can a bit sprawling. GPT is not a complicated model and this implementation is appropriately about 300 lines of code (see mingpt/model.py). All that’s going on is that a sequence of indices feeds into a Transformer, and a probability distribution over the next index in the sequence comes out. The majority of the complexity is just being clever with batching (both across examples and over sequence length) for efficiency.

  • 论文及代码

    代码：https://github.com/karpathy/minGPT

10、InstructGLM

11、FastChat

  • 简介
    FastChat is an open platform for training, serving, and evaluating large language model based chatbots. The core features include:

    • The weights, training code, and evaluation code for state-of-the-art models (e.g., Vicuna, FastChat-T5).
    • A distributed multi-model serving system with Web UI and OpenAI-compatible RESTful APIs.

  • 论文及代码
    代码：https://github.com/lm-sys/FastChat

  • Model Weights
    Vicuna Weights
    We release Vicuna weights as delta weights to comply with the LLaMA model license. You can add our delta to the original LLaMA weights to obtain the Vicuna weights. Instructions:

    Get the original LLaMA weights in the Hugging Face format by following the instructions here.
    Use the following scripts to get Vicuna weights by applying our delta. They will automatically download delta weights from our Hugging Face account.

在这里插入图片描述

12、Luotuo-Chinese-LLM

  • 简介
    骆驼(Luotuo): 开源中文大语言模型
    骆驼(Luotuo)项目是由冷子昂 @ 商汤科技, 陈启源 @ 华中师范大学 以及 李鲁鲁 @ 商汤科技 发起的中文大语言模型开源项目，包含了一系列语言模型。

  • 论文及代码

    代码：https://github.com/LC1332/Luotuo-Chinese-LLM

13、CamelBell-Chinese-LoRA

14、alpaca-lora

  • 简介
    This repository contains code for reproducing the Stanford Alpaca results using low-rank adaptation (LoRA). We provide an Instruct model of similar quality to text-davinci-003 that can run on a Raspberry Pi (for research), and the code is easily extended to the 13b, 30b, and 65b models.

    In addition to the training code, which runs within hours on a single RTX 4090, we publish a script for downloading and inference on the foundation model and LoRA, as well as the resulting LoRA weights themselves. To fine-tune cheaply and efficiently, we use Hugging Face’s PEFT as well as Tim Dettmers’ bitsandbytes.

    Without hyperparameter tuning, the LoRA model produces outputs comparable to the Stanford Alpaca model. (Please see the outputs included below.) Further tuning might be able to achieve better performance; I invite interested users to give it a try and report their results.

  • 论文及代码

    代码：https://github.com/tloen/alpaca-lora

其他开源项目，待补充。。。

参考

https://github.com/mymusise/ChatGLM-Tuning
https://huggingface.co/BelleGroup/BELLE-7B-2M
https://github.com/LianjiaTech/BELLE
https://huggingface.co/datasets/BelleGroup/generated_train_0.5M_CN
https://huggingface.co/datasets/JosephusCheung/GuanacoDataset
https://guanaco-model.github.io/
https://github.com/carbonz0/alpaca-chinese-dataset
https://github.com/THUDM/ChatGLM-6B
https://huggingface.co/THUDM/chatglm-6b
https://github.com/lich99/ChatGLM-finetune-LoRA

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

大语言模型

LLM

LLaMA

ChatGLM

【AI实战】开源大语言模型LLMs汇总 的相关文章

随机推荐

  • Flutter 使用pageview无缝隙自动轮播教程

    导入要使用的轮播图片 List

  • win10安装cuda11.4及cudnn

    查看nvidia驱动版本 在windows终端键入nvidia smi 查看nvidia显卡驱动 显卡驱动的版本决定了CUDA的版本下限 如果出现上述的问题 则终端进入C Program Files NVIDIA Corporation N

  • Java实现简单的台球桌游戏

    Java实现简单台球桌问题 需求 使小球可以在桌面上移动 移动到桌面边缘将被弹回 显示小区的移动 素材 小球照片 桌球照片 程序源代码 package 桌球游戏 import java awt import javax swing publ

  • Qt--事件分发器

    写在前面 在 Qt 中 事件分发器 Event Dispatcher 是一个核心概念 用于处理 GUI 应用程序中的事件 事件分发器负责将事件从一个对象传递到另一个对象 直到事件被处理或被取消 每个继承自QObject或QObject的类都

  • 【开发工具】【sparse】Linux下代码检测工具（sparse）的使用

    获取更多相关的嵌入式开发工具 可收藏系列博文 持续更新中 开发工具 嵌入式常用开发工具汇总帖 Linux内核源码里其实包含了相应的代码检测工具 sparse 位置在 Documentation dev tools sparse rst Do

  • webservice中JAX-WS与CXF,Axis区别

    Web Service是一种能够使应用程序在不同的平台使用不同的编程语言进行通讯的技术规范 而这种技术规范的实现可以用不同的方法 比如使用基于XML形式的协议 SOAP 进行通讯或者是RESTFUL形式的 既然我们知道可以使用上面的两种形式

  • c编程：求出4×4矩阵中最大和最小元素值及其所在行下标和列下标，求出两条主对角线元素之和。

    求出4 4矩阵中最大和最小元素值及其所在行下标和列下标 求出两条主对角线元素之和 include

  • Python之SQLMap：自动SQL注入和渗透测试工具示例详解

    在网络安全领域中 渗透测试是一项重要的任务 其中 SQL注入攻击是最常见的一种攻击方式之一 为了简化渗透测试过程中的繁琐操作 开发者们设计了各种自动化工具 其中 SQLMap是一款使用Python编写的强大工具 用于进行自动化的SQL注入和

  • [Echarts][全网唯一]X轴axisLabel随文字长度自动旋转的实现思路

    最近看了很多BI产品 柱状图的X轴标签文字能够随着系列柱体宽度自动旋转 如果在范围内就横向 不在范围内就自动变成竖向 效果如下 axisLabel空间足够 限制了十个字符 横向显示 标题axisLabel空间不足 限制了十个字符 竖向显示

  • 模仿MybatisPlus实现 lambda query

    刚接触MybatisPlus那会 就觉得它提供的lambda调用方式挺酷的 比如常规写法new QueryWrapper eq name xiaoming 改成用lambda就是 new LambdaQueryWrapper eq User

  • pycharm中配置python解释器【最新版】

    嗨嗨 我是小圆 现在有越来越多的人正在了解python 刚入门的新手 一开始也会很多的问题 今天来给大家分享一下python新手必须学会的技巧 pycharm中配置python解释器 有很多朋友 在安装模块时成功了 但是在pycharm导入

  • JWT——概念、认证流程、结构、使用JWT

    一 什么是JWT JSON Web Token JWT is an open standard RFC 7519 that defines a compact and self contained way for securely tran

  • Kali beef-xss实现Xss详细教程。

    免责声明 本文所介绍的内容仅做学习交流使用 严禁利用文中技术进行非法行为 否则造成一切严重后果自负 1 XSS简介 1 XSS简介 XSS作为OWASP TOP 10之一 XSS中文叫做跨站脚本攻击 Cross site scripting

  • oracle表连接深入浅出

    author skate time 2010 08 20 表的连接 表的连接是指在一个SQL语句中通过表与表之间的关联 从一个或多个表检索出相关的数据 如果一个SQL语句的关联表超过两个 那么连接的顺序如何呢 ORACLE首先连接其中的两个

  • 【AWS实验 】在 AWS Fargate 上使用 Amazon ECS 部署应用程序

    文章目录 实验概览 目标 实验环境 任务 1 连接到实验命令主机 任务 2 将应用程序容器化 任务 3 构建 Web2048 容器 任务 4 创建 Amazon ECR 存储库并推送 Docker 映像 任务 5 创建 ECS 集群 任务

  • IIS6.0容器之解析漏洞复现

    漏洞简介 解析漏洞是指web服务器因对HTTP请求处理不当导致将非可执行的脚本 文件等当作可执行的脚本去执行 该漏洞一般配合web容器 iis nginx apache tomcat等 的文件上传功能去使用 以获取服务器的权限 IIS5 X

  • 【超详细】MMLab分类任务mmclassification：环境配置说明、训练、预测及模型结果可视化展示

    本文详细介绍了使用MMLab的mmclassification进行分类任务的环境配置 训练与预测流程 目录 文件配置说明 下载源码 配置文件 基于预训练模型微调或者续训练自己模型的方式 配置文件说明 数据集配置方式 更改配置文件中的类别名称

  • Docker-harbor私有仓库

    目录 一 Harbor概述 1 Harbor的概念 2 Harbor的特性 3 Harbor的构成 二 Harbor 部署 环境准备 1 部署 Docker Compose 服务 2 部署 Harbor 服务 下载或上传 Harbor 安装

  • Data,DB,DBMS,DBS,DBA

    数据 Data 数据库 Database DB 数据库管理系统 DBMS 数据库系统 DBS 数据库管理员 DBA 1 数据 数据是信息的承载者 数据可以是数字 也可以是文字 图片 音频等等 通过数字化存进计算机 2 数据库 长期存储在计算

  • 【AI实战】开源大语言模型LLMs汇总

    AI实战 开源大语言模型LLM汇总 大语言模型 开源大语言模型 1 LLaMA 2 ChatGLM 6B 3 Alpaca 4 PandaLLM 5 GTP4ALL 6 DoctorGLM MedicalGPT zh v2 7 Medica

热门标签