ChatGLM环境配置

2023-11-13

【目的】

ChatGPT令人震撼的冲击下,笔者转向NLM的Transformer模型,ChatGLM作为清华开源的大语言模型,笔者尝试了其环境配置,为相关理论学习奠定基础。本文用于备忘与学习,无商业用途。

【参考】

ChatGLM的源码下载链接:

GitHub - THUDM/ChatGLM-6B: ChatGLM-6B:开源双语对话语言模型 | An Open Bilingual Dialogue Language ModelChatGLM的离线模型国外链接:

THUDM/chatglm-6b at main

ChatGLM的离线模型国内链接(注意:国内链接只包含主要的模型节点文件,需要github下载响应的配置文件):

清华大学云盘

完整的模型数据结构如下图:

 【步骤】

1、下载Anaconda并安装,安装流程网上搜索或参考如下博文:

anaconda安装配置教程_anaconda安装教程_振华OPPO的博客-CSDN博客

2、进入anaconda Prompt, 创建并激活环境

# 创建环境
conda create -n pytorch python=3.7
conda activate pytorch

 

3、进入源码文件,按要求配置环境

pip install -r requirements.txt

注意:3.7python环境下pytorch 的版本需要与你的计算显卡参数相匹配,便于配置CUDA,因此,在安装完配置环境后,需要卸载调pytorch相关安装包,后面根据CUDA要求重新安装

uninstall torch torchaudio torchvision

4、配置CUDA环境 (安装前需要确定后面要安装的pytorch 的版本)

参考链接:

踩坑总结!Windows系统安装CUDA、cuDNN_cuda安装时自动重启_Angus *的博客-CSDN博客

配置大致流程:查看本机显卡匹配的CUDA,官网下载CUDA安装包,CUDA安装,cuDNN文件下载与复制到相应文件夹

Pytorch与CUDA的版本对应参考官网:

Start Locally | PyTorch

 5、配置pytorch,选择与CUDA相匹配的pytorch版本

pytorch从如下链接离线下载并安装。清华源会默认安装CPU版本的,因此GPU的pytorch推荐离线安装

Index of /anaconda/cloud/pytorch/win-64/ | 北京外国语大学开源软件镜像站 | BFSU Open Source Mirror

conda install --use-local D:\pytorch-1.13.1-py3.7_cuda11.6_cudnn8_0.tar.bz2

 torchaudio 和torchvision通过清华源安装

pip install torchaudio -i https://pypi.mirrors.ustc.edu.cn/simple/

pip install torchvision -i https://pypi.mirrors.ustc.edu.cn/simple/

6、将下载的THUDM/chatglm-6b 模型放到huggingface的默认读取文件夹内:

C:\Users\HP\.cache\huggingface\hub\models--THUDM--chatglm-6b\snapshots\acd41f77311be8584836edc2fc7251d5b6e65840

7、模型运行

8、浏览器显示结果:

 

 

 

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

ChatGLM环境配置 的相关文章

  • PipelineException:在输入中找不到 mask_token ([MASK])

    我收到此错误 PipelineException 在输入中找不到 mask token MASK 当我运行这条线时 fill mask 汽车 我在 Colab 上运行它 我的代码 from transformers import BertT
  • 当我有另一个具有该版本的 conda 环境时,为什么 pip 不允许我在新的 conda 环境中安装 torch==1.9.1+cu111 ?

    当我在新的 conda 环境中运行 pip install 时 base brando9 pip install torch 1 9 1 cu111 torchvision 0 10 1 cu111 torchaudio 0 9 1 f h
  • 在 Pytorch 中获取负片(倒置)图像

    我想直接从数据加载器获取图像的负片并将其作为张量提供 有我可以使用的库吗 我试过火炬transforms并没有找到任何 不要费力 只需使用255 image它会给你一个负面的形象 试试吧
  • 在 Pytorch 中执行优化时如何对变量应用界限?

    我正在尝试使用 Pytorch 进行非凸优化 试图最大化我的目标 因此在 SGD 中最小化 我想限制因变量 x gt 0 并且 x 值的总和小于 1000 我认为我已经以斜坡惩罚的形式正确实施了惩罚 但我正在努力解决 x 变量的边界问题 在
  • MNIST、torchvision 中的输出和广播形状不匹配

    在 Torchvision 中使用 MNIST 数据集时出现以下错误 RuntimeError output with shape 1 28 28 doesn t match the broadcast shape 3 28 28 这是我的
  • 用我自己的值初始化pytorch卷积层

    我想知道是否有办法用我自己的值初始化 pytorch 卷积过滤器 例如 我有一个元组 0 8423 0 3778 3 1070 2 6518 我想用这些值初始化 2X2 过滤器 我该怎么做 我查找了一些答案 但他们大多使用火炬正态分布和其他
  • Win10 64位上CUDA 12的PyTorch安装

    我需要在我的 PC 上安装 PyTorch 其 CUDA 版本 12 0 pytorch 2 的表 https i stack imgur com X13oS png in In 火炬网站 https pytorch org get sta
  • PoseWarping:如何矢量化此 for 循环(z 缓冲区)

    我正在尝试使用地面真实深度图 姿势信息和相机矩阵将帧从视图 1 扭曲到视图 2 我已经能够删除大部分 for 循环并将其矢量化 除了一个 for 循环 扭曲时 由于遮挡 视图 1 中的多个像素可能会映射到视图 2 中的单个位置 在这种情况下
  • Cuda和pytorch内存使用情况

    我在用Cuda and Pytorch 1 4 0 当我尝试增加batch size 我遇到以下错误 CUDA out of memory Tried to allocate 20 00 MiB GPU 0 4 00 GiB total c
  • 我可以使用逻辑索引或索引列表对张量进行切片吗?

    我正在尝试使用列上的逻辑索引对 PyTorch 张量进行切片 我想要与索引向量中的 1 值相对应的列 切片和逻辑索引都是可能的 但是它们可以一起吗 如果是这样 怎么办 我的尝试不断抛出无用的错误 类型错误 使用 ByteTensor 类型的
  • 查找张量中沿轴的非零元素的数量

    我想找到沿特定轴的张量中非零元素的数量 有没有 PyTorch 函数可以做到这一点 我尝试使用非零 http pytorch org docs master torch html highlight nonzero torch nonzer
  • 删除 Torch 张量中的行

    我有一个火炬张量如下 a tensor 0 2215 0 5859 0 4782 0 7411 0 3078 0 3854 0 3981 0 5200 0 1363 0 4060 0 2030 0 4940 0 1640 0 6025 0
  • 如何避免 PyTorch 中的“CUDA 内存不足”

    我认为对于 GPU 内存较低的 PyTorch 用户来说 这是一个非常常见的消息 RuntimeError CUDA out of memory Tried to allocate X MiB GPU X X GiB total capac
  • 如何平衡 GAN 中生成器和判别器的性能?

    这是我第一次使用 GAN 我面临着判别器多次优于生成器的问题 我正在尝试重现PA模型来自本文 http openaccess thecvf com content ICCV 2017 papers Sajjadi EnhanceNet Si
  • 下载变压器模型以供离线使用

    我有一个训练有素的 Transformer NER 模型 我想在未连接到互联网的机器上使用它 加载此类模型时 当前会将缓存文件下载到 cache 文件夹 要离线加载并运行模型 需要将 cache 文件夹中的文件复制到离线机器上 然而 这些文
  • Blenderbot 微调

    我一直在尝试微调 HuggingFace 的对话模型 Blendebot 我已经尝试过官方拥抱脸网站上给出的传统方法 该方法要求我们使用 trainer train 方法来完成此操作 我使用 compile 方法尝试了它 我尝试过使用 Py
  • PyTorch 中的连接张量

    我有一个张量叫做data形状的 128 4 150 150 其中 128 是批量大小 4 是通道数 最后 2 个维度是高度和宽度 我有另一个张量叫做fake形状的 128 1 150 150 我想放弃最后一个list array从第 2 维
  • PyTorch 中的交叉熵

    交叉熵公式 但为什么下面给出loss 0 7437代替loss 0 since 1 log 1 0 import torch import torch nn as nn from torch autograd import Variable
  • 在 Pytorch 中估计高斯模型的混合

    我实际上想估计一个以高斯混合作为基本分布的归一化流 所以我有点被火炬困住了 但是 您可以通过估计 torch 中高斯模型的混合来在代码中重现我的错误 我的代码如下 import numpy as np import matplotlib p
  • 如何在 PyTorch 中对子集使用不同的数据增强

    如何针对不同的情况使用不同的数据增强 转换 Subset在 PyTorch 中吗 例如 train test torch utils data random split dataset 80000 2000 train and test将具

随机推荐

  • 经验模式分解(EMD)——简介及Matlab工具箱安装

    最近在做脑电信号分析 在导师的建议下学习了一点经验模式分解 下面简称EMD 的皮毛 期间也是遇到了很多问题 在这里整理出来 一是为了自己备忘 二是为了能尽量帮到有需要的朋友 一 EMD简介 经验模态分解 Empirical Mode Dec
  • Oracle数据库 SQL Plus 命令使用指南

    熟悉oracle的朋友都知道 SQL PLUS是一个重要的和ORACLE打交道的工具 SQL PLUS本身有很多命令 可以帮助我们做很多事情 包括产生一些规格化的报表 提供人机交互等等 下面 我就简单地说明一下 供大家参考 一 帮助命令 H
  • Java有哪些基本数据类型?

    在Java中 有8种基本数据类型 它们分为两种类型 值类型 Primitive types byte 字节型 占用1个字节 表示范围为 128 127 short 短整型 占用2个字节 表示范围为 32768 32767 int 整型 占用
  • Spring Boot 框架总结

    Spring Boot 框架总结 1 springboot的引言 Spring Boot是由Pivotal团队提供的全新框架 其设计目的是用来简化Spring应用的 初始搭建以及开发过程 该框架使用了特定的方式来进行配置 从而使开发人员不
  • SAP S4 FI后台详细配置教程- PART5 (应收帐目和应付帐目配置篇)

    SAP S4 FI后台详细配置教程 PART5 应收帐目和应付帐目配置篇 1 客户 1 1 定义客户科目组 概念功能说明 客户是按照账户组来管理的 可以通过定义客户科目组来进行区 如一般客户 集团内客户 一 次性客户等 客户主数据信息分三个
  • hive add jar 报java.net.UnknownHostException: user错误

    hive gt add jar hdfs mypath myjar jar java net UnknownHostException user Query returned non zero code 1 cause java net U
  • v3s 荔枝派zero开发板 添加 ov2640 摄像头(一)

    1 准备 储备知识 1 DVP是并口传输 速度较慢 传输的带宽低 使用需要PCLK sensor输出时钟 MCLK XCLK 外部时钟输入 VSYNC 场同步 HSYNC 行同步 D 0 11 并口数据 可以是8 10 12bit数据位数大
  • LA@n维向量@解析几何向量和线性代数向量

    文章目录 概念 n维向量 向量类型 实向量和复向量 行向量和列向量 行列向量的转换 特殊向量 向量运算 矩阵的向量分块 解析几何向量和线性代数向量 向量空间 n n n维向量空间
  • JSONObject详解

    JSONObject只是一种数据结构 可以理解为JSON格式的数据结构 key value 结构 可以使用put方法给json对象添加元素 JSONObject可以很方便的转换成字符串 也可以很方便的把其他对象转换成JSONObject对象
  • 微服务架构的主要优势是什么

    微服务架构提供了几个关键优势 使其成为设计和构建应用程序的流行选择 以下是微服务架构的一些显着优势 可扩展性 微服务架构允许单个服务根据其特定需求独立扩展 这种可扩展性可实现高效的资源利用 并能够通过仅扩展必要的服务来处理高流量负载 它可以
  • Kbuild系统源码分析(五)—模块的编译流程

    版权声明 本文为CSDN博主 ashimida 的原创文章 遵循CC 4 0 BY SA版权协议 转载请附上原文出处链接及本声明 原文链接 https blog csdn net lidan113lidan article details
  • 手机黑屏摄像app_手机黑屏摄像软件下载-手机黑屏摄像持续拍摄app1.3安卓版下载_骑士下载...

    手机黑屏摄像持续拍摄app这是一款支持黑屏状态下拍摄的软件 如果你有这方面的需要 可以来试试的 不会让人发现你在拍摄 软件中有黑屏模式 你打开就可以了 使用起来简单 操作也方便 需要的朋友赶紧下载试试吧 软件介绍 能够根据手机上黑屏状态下还
  • 实践指南-前端性能提升 270%

    一 背景 当我们疲于开发一个接一个的需求时 很容易忘记去关注网站的性能 到了某一个节点 猛地发现 随着越来越多代码的堆积 网站变得越来越慢 本文就是从这样的一个背景出发 着手优化网站的前端性能 并总结出一套开发习惯 让我们在日常开发时 也保
  • 无网环境下安装Mysql8.0

    在redhat7 6操作系统上安装mysql8 0服务 服务器只有内网 没有外网 记录一下安装过程 一 软件准备 1 1 下载mysql安装包 下载地址 https dev mysql com downloads mysql 1 2 准备依
  • Vue3 ERROR Error: Cannot find module ‘vue-loader-v16/package.json‘

    Vue3 ERROR Error Cannot find module vue loader v16 package json Vue3 npm run serve错误 1 主要错误信息 2 Vue3项目 运行环境 3 Vue3项目运行操作
  • 金山办公慢下来了?

    大数据产业创新服务媒体 聚焦数据 改变商业 只有长期主义者 才能成为时间的朋友 在笔者看来 越来越向SaaS模式倾斜的金山办公便是 长期主义 的代表之一 近日 金山办公 股票代码 688111 发布2023年半年度报告 报告显示 2023上
  • 如何用python提取音频

    可以使用 Python 的多种库来提取音频 其中一种方法是使用 ffmpeg 库 首先 需要安装 ffmpeg 库 可以使用以下命令进行安装 pipinstall ffmpeg 然后 可以使用以下代码来提取音频 import ffmpeg
  • 一个在ASP.NET中利用服务器控件GridView实现数据增删改查的例子

    备注 这是我辅导的一个项目开发组的一个例子 用文章的方式分享出来 给更多的朋友参考 其实我们这几年的项目中 都不怎么使用服务器控件的形式了 而是更多的采用MVC这种开发模式 但是 如果项目的历史背景是用服务器控件的 也不妨继续沿用 以免变动
  • Rust引入外部包,VsCode引入失败,Blocking waiting for file lock on package cache lock

    引入外部包出错的解决方法 VsCode导入包后一直转圈 首先要停掉Rust server Ctrl Shift P 快捷键 输入Stop那个 停掉服务 改用命令行 像这样 可以看到它说 Blocking waiting for file l
  • ChatGLM环境配置

    目的 ChatGPT令人震撼的冲击下 笔者转向NLM的Transformer模型 ChatGLM作为清华开源的大语言模型 笔者尝试了其环境配置 为相关理论学习奠定基础 本文用于备忘与学习 无商业用途 参考 ChatGLM的源码下载链接 Gi