Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
【大模型】开源大模型汇总以及微调策略
目录 前言 LLaMA stanford Alpaca Guanaco Vicuna Chinese LLaMA Alpaca Chinese Vicuna Luotuo Chinese Falcon OpenBuddy Falcon Ch
深度学习
人工智能
大模型
ChatGLM
AIGC
【自然语言处理】大模型高效微调:PEFT 使用案例
文章目录 一 PEFT介绍 二 PEFT 使用 2 1 PeftConfig 2 2 PeftModel 2 3 保存和加载模型 三 PEFT支持任务 3 1 Models support matrix 3 1 1 Causal Langu
自然语言处理
人工智能
深度学习
大模型
PEFT
2023 年热门的大型语言模型 (LLMs)汇总
大模型 LLMs 是一种人工智能模型 旨在理解和生成人类语言 它们通过在大量的文本数据上进行训练 可以执行广泛的任务 包括文本总结 翻译 情感分析等等 这些模型通常基于深度学习架构 如转换器 这使它们在各种自然语言处理任务上表现出令人印象深
语言模型
人工智能
自然语言处理
大模型
大型语言模型
开源大模型详解
作者 Linux猿 简介 CSDN博客专家 华为云享专家 Linux C C 云计算 物联网 面试 刷题 算法尽管咨询我 关注我 有问题私聊 欢迎小伙伴们点赞 收藏 留言 本篇文章主要对开源大模型进行总结和介绍 一 什么是大模型 大模型指网
大模型AIGC
大模型
机器学习
AIGC
开源
为AI而生的数据库:Milvus详解及实战
1 向量数据库 1 1 向量数据库的由来 在当今数字化时代 人工智能AI正迅速改变着我们的生活和工作方式 从智能助手到自动驾驶汽车 AI正在成为各行各业的创新引擎 然而 这种AI的崛起也带来了一个关键的挑战 如何有效地处理和分析越来越丰富和
人工智能初探
人工智能
milvus
向量数据库
大模型
ChatGLM2-6B中引入ptuning报错:AttributeError: ‘ChatGLMModel‘ object has no attribute ‘prefix_encoder‘
File home ai gm ChatGLM2 6B ptuning v1 main py line 411 in
python
自然语言处理
人工智能
大模型
微调
CUDA Toolkit多版本安装与配置
CUDA Toolkit多版本安装目的是为了将CUDA Toolkit支持多个版本 并将当前版本更新到后续支持常见pytorch的版本 即cuda11 6 目前该系统默认安装的是cuda10 2 cuda11 0和cuda11 2 CUDA
后端
机器学习
数据应用
人工智能
大模型
chatglm2-6b在P40上做LORA微调
背景 目前 大模型的技术应用已经遍地开花 最快的应用方式无非是利用自有垂直领域的数据进行模型微调 chatglm2 6b在国内开源的大模型上 效果比较突出 本文章分享的内容是用chatglm2 6b模型在集团EA的P40机器上进行垂直领域的
人工智能
硬核干货
京东云
chatglm26b
大模型
RMSNorm论文阅读
RMSNorm论文阅读 1 论文 1 1 RMSNorm介绍 RMSNorm论文中对LayerNorm的公式做了改造 在原有LayerNorm中借助了每个layer统计的mean和variance对参数进行了调整 但RMSNorm认为re
大模型
论文阅读
深度学习
人工智能
论文阅读_大语言模型_Llama2
英文名称 Llama 2 Open Foundation and Fine Tuned Chat Models 中文名称 Llama 2 开源的基础模型和微调的聊天模型 文章 http arxiv org abs 2307 09288 代码
大模型
论文阅读
Code Llama 是Meta 开源基于 Llama 2 的 AI 代码生成大模型
Code Llama 可根据代码和自然语言提示生成代码和有关代码的自然语言 支持多种主流编程语言 包括 Python C Java PHP Typescript Javascript C 和 Bash https ai meta com b
大模型
LLaMA
代码模型
Meta
Rotary Position Embedding (RoPE, 旋转式位置编码)
RoPE为苏剑林大佬之作 最早应用于他自研的RoFormer Rotary Transformer 属于相对位置编码 效果优于绝对位置编码和经典式相对位置编码 出自论文 RoFormer Enhanced Transformer with
NLP
位置编码
Transformer
大模型
人工智能
实时追踪科研动态丨谷歌、马克斯·普朗克光科学研究所等机构精选新论文
作为科研人员 每天需要检索和浏览大量的学术文献 以获取最新的科技进展和研究成果 然而 传统的检索和阅读方式已经无法满足科研人的需求 AMiner AI 一款集检索 阅读 知识问答于一体的文献知识工具 帮助你快提高检索 阅读论文效率 获取最新
计算机视觉
人工智能
大模型
深度学习
机器学习
向量数据库介绍
1 什么是向量数据 向量数据库是一种专门用于存储和检索向量数据的数据库 它不同于传统的关系型数据库 而是基于向量相似度匹配的方式来实现高效的数据查询和分析 2 向量数据库的应用场景 2 1 应用场景概览 向量数据库是一种专门用于存储和检索向
数据库
大模型
向量数据库
Grouped Query Attention论文阅读
论文 GQA Training Generalized Multi Query Transformer Models from Multi Head Checkpoints 1 背景介绍 Google在2023年发表的一篇关于Transfo
大模型
论文阅读
人工智能
python
Transformer
LLM微调
下面我只是分析讲解下这些方法的原理以及具体代码是怎么实现的 不对效果进行评价 毕竟不同任务不同数据集效果差别还是挺大的 文章目录 0 hard prompt soft prompt区别 1 Prefix Tuning 2 Prompt Tu
LLM微调
算法岗面试
大模型
LLM
微调
手把手带你linux部署清华大学大模型最新版 chaglm2-6b
准备工作 下载项目源代码 git clone https github com THUDM ChatGLM2 6B 切换到项目根目录 cd ChatGLM2 6B 安装依赖 pip install r requirements txt 安装
chaglm2
大模型
ChatGPT中的Token:了解聊天模型的基本单位
文章目录 ChatGPT中的Token是什么 ChatGPT中有三种类型的Token 如何获取ChatGPT的Token Token在ChatGPT平台中有什么作用 Token是否会过期 如果过期了怎么办 创作者 全栈弄潮儿 个人主页 全栈
AI大模型
ChatGPT
人工智能
Token
大模型
LORA项目源码解读
大模型fineturn技术中类似于核武器的LORA 简单而又高效 其理论基础为 在将通用大模型迁移到具体专业领域时 仅需要对其高维参数的低秩子空间进行更新 基于该朴素的逻辑 LORA降低大模型的fineturn门槛 模型训练时不需要保存原始
开源项目分析
大模型
AIGC
代码分析
Streamlit项目:基于讯飞星火认知大模型开发Web智能对话应用
文章目录 1 前言 2 API获取 3 官方文档的调用代码 4 Streamlit 网页的搭建 4 1 代码及效果展示 4 2 Streamlit相关知识点 5 结语 1 前言 科大讯飞公司于2023年8月15日发布了讯飞认知大模型V2 0
最全Streamlit教程
前端
Streamlit
大模型
LLM
«
1
2
3
4
5
6
»