开源 LLM (大语言模型)整理(一)

2023-11-12

Large Language Model (LLM) 即大规模语言模型,是一种基于深度学习的自然语言处理模型,它能够学习到自然语言的语法和语义,从而可以生成人类可读的文本。

所谓 "语言模型",就是只用来处理语言文字(或者符号体系)的 AI 模型,发现其中的规律,可以根据提示 (prompt),自动生成符合这些规律的内容。

LLM 通常基于神经网络模型,使用大规模的语料库进行训练,比如使用互联网上的海量文本数据。这些模型通常拥有数十亿到数万亿个参数,能够处理各种自然语言处理任务,如自然语言生成、文本分类、文本摘要、机器翻译、语音识别等。

本文对国内外公司、科研机构等组织开源的 LLM 进行了全面的整理。


LLaMA —— Meta 大语言模型

LLaMA 语言模型全称为 "Large Language Model Meta AI",是 Meta 的全新大型语言模型(LLM),这是一个模型系列,根据参数规模进行了划分(分为 70 亿、130 亿、330 亿和 650 亿参数不等)。

其中 LaMA-13B(130 亿参数的模型)尽管模型参数相比 OpenAI 的 GPT-3(1750 亿参数) 要少了十几倍,但在性能上反而可以超过 GPT-3 模型。更小的模型也意味着开发者可以在 P

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

开源 LLM (大语言模型)整理(一) 的相关文章

随机推荐

  • 【VMD-LSTM】变分模态分解-长短时记忆神经网络研究(Python代码实现)

    欢迎来到本博客 博主优势 博客内容尽量做到思维缜密 逻辑清晰 为了方便读者 座右铭 行百里者 半于九十 本文目录如下 目录 1 概述 1 1 变分模态分解算法 1 2 LSTM 2 运行结果 编辑 3 参考文献 4 Python代码实现 1
  • js项目练习第二课

    百度输入法
  • C# 三种代码注释方式

    1 常规注释方式 单行注释 以 符号开始 任何位于 符号后的本行文字都视为注释 块注释 以 开始 结束 任何介于这对符号之间的文字块都视为注释 2 XML注释方式 Extensible Markup Language 可扩展标记语言 符号是
  • Java初级面试常见面试题

    下面的这些不够看 可以访问我的语雀专栏 https www yuque com greedy 9i38g tzpwui 面试题 文章目录 JavaSE Java基本数据类型大小 JAVA中 和 两种符号 抽象类不能创建对象 那么抽象类中是否
  • 剑指offer面试题【14】----剪绳子【Python】【动态规划】【贪婪算法】

    题目描述 给你一根长度为n的绳子 请把绳子剪成m段 m和n都是整数 n gt 1并且m gt 1 每段绳子的长度记为k 0 k 1 k m 请问k 0 k 1 k m 可能的最大乘积是多少 例如 当绳子的长度为8时 我们把它剪成长度分别为2
  • 一天一道算法题(为更好的明天奋斗)

    往期 给定一个整数数组 nums 和一个目标值 target 请你在该数组中找出和为目标值的那 两个 整数 并返回他们的数组下标 你可以假设每种输入只会对应一个答案 但是 数组中同一个元素不能使用两遍 示例 给定 nums 2 7 11 1
  • zynq的lwip echo server实验(有无法ping通的解决方案)

    很多朋友卡在了无法接受回传数据的问题上 下面分享下我的搭建过程和解决方法 这里提供我的工程和用到的两个教程 版本vivado vitis2020 2 lwip echoserver zip C文档类资源 CSDN下载 1 根据开发板的端口
  • nfsv4文件服务器,在CentOS 7上配置NFSv3和NFSv4的步骤

    本文介绍在CentOS 7上配置NFSv3和NFSv4的具体步骤 唯一的条件是你应该安装CentOS 7服务器和数据目录以通过NFS导出到其它服务器 安装请参考在VMware中安装CentOS操作系统教程 第1步 安装NFS服务器 使用以下
  • 阿里云oss出现No ‘Access-Control-Allow-Origin‘的问题

    解决办法 在oss管理控制台中设置bucket中数据安全的跨域设置 然后创建规则 来源是请求的网址 可以使用通配符 允许 Methods就是允许跨域的方法 可以多选 注意这里的规则最多10条
  • Arduino对57步进电机的控制

    最近实验室的智能车从大车路线改到了小车路线 于是笔者也跟着学习一些新的知识 大车的控制可以使用标准的CAN协议 很多方便的指令都能够通过CAN来传输给ECU并得到相应的反馈 然而对于最近接触的电动小白车 控制策略只能使用物理机械去控制 因此
  • 循环链表算法及代码实现

    一 循环单链表 直接上图就能够说明循环单链表的存储结构 简单直观 我们关注一下其特点 与非循环单链表相比 循环单链表 1 无空指针域 2 尾节点的判断条件为 p gt next L 二 循环双链表 同样直接上图 与非循环双链表相比 1 无空
  • 实现图片验证码【详细代码】

    实际开发过程中经常遇到要实现图片验证码来防止外部使用脚本刷接口 所以说图片验证码是很有必要的一个小功能 html div class user phone div
  • PyTorch模型 .pt、.pth与.pkl 的区别

    PyTorch模型 pt pth与 pkl 的区别 1 项目场景 2 问题描述 3 原因分析 1 项目场景 调试PyTorch代码保存训练模型的时候有些时候保存的格式是 pt 有些时候是 pth与 pkl 不禁好奇它们之间的区别 2 问题描
  • shell脚本系列:3、shell命令

    shell脚本系列 3 shell命令 文章目录 shell脚本系列 3 shell命令 1 保留字 2 简单的命令 3 管道 4 命令列表 5 复合循环指令 5 1 循环结构 5 2 条件结构 5 3 分组命令 6 协程 7 GUN Pa
  • MATLAB遍历子文件夹及其下文件

    MATLAB遍历子文件夹及其下文件 以前从未遇到过用MATLAB批处理文件的情况 此次项目需要批量将二进制数据文件导入matlab进行svm分类 现将matlab遍历子文件夹及其文件的方法记录下来 文件目录结构 maindir subdir
  • Java基础必知必会

    基础知识笔记记录 持续更新ing 个人博客 www zhazhapeng cn 1 JDK JRE的区别 JDK Java Development Kit 开发工具 基本类库 javac 编译 javap 反编译 javadoc 编译文档
  • C++ 基础: cin和getline() 有啥区别?

    所谓温故而知新 所以时不时会回头来看看我们最最基础的知识 获取标准键盘输入的方法有多种 以C 语言来说 最常用的就是cin 和geline 那么它们之间有什么区别呢 我们总结一下 一 cin和geline的异同点 在 C 中 cin 和 g
  • Boost电源原理及工作过程详解

    1 Boost电路基本介绍 Boost电路在电池的一些场景非常常见 用于给电池电压升压后再给电路进行供电的场景比较多 随着电动汽车的飞速发展 在汽车电子的场景使用也越来越多 开关电源的主要部件包括 输入源 开关管 储能电感 控制电路 二极管
  • C1认证:作业四

    1 任务背景 为了摆脱 成为 只会CRUD 没有自我核心竞争力 无思想的编程的大龄码农 所以 开展了本次实验 目的是 去了解算法 去欣赏它的美 去感受它的优雅 使自己成为有灵魂的工程师 2 任务大纲 一 任务一 轮播图片 HTML CSS
  • 开源 LLM (大语言模型)整理(一)

    Large Language Model LLM 即大规模语言模型 是一种基于深度学习的自然语言处理模型 它能够学习到自然语言的语法和语义 从而可以生成人类可读的文本 所谓 语言模型 就是只用来处理语言文字 或者符号体系 的 AI 模型 发