github地址：https://github.com/THUDM/ChatGLM-6B
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。
如果你的电脑完全没有配置过python环境，你需要先学会如何安装Anaconda等来配置python环境，这里因为我以前已经安装过，所以直接从搭建PyTorch环境开始。
显卡驱动，我以前玩游戏更新过，按理说有显卡的电脑都会有，可以更新一下。
官方文档是默认你配置好环境了的。
我是先看官方文档把文件clone后，跑代码时报错
Torch not compiled with CUDA enabled搜索知道，没安装环境
这里找到PyTorch有CUDA11.8版本，所以建议下载11.8版本（CUDA按理说是向下兼容的，但直接下对应版本会更保险一点吧）。
CUDA安装时如果已经安装了高版本，想降版本时，可以直接下载低版本的CUDA，按流程走一次就行。
去到CUDA官网下载对应版本CUDA https://developer.nvidia.com/cuda-toolkit-archive
下载后是一个安装程序（安装步骤可以看参考安装办法下载2<>）
这里注意python的版本选择
使用anaconda prompt创建环境。（之前用vscode的终端键入指令，不太好使）
创建新环境
conda create -n 环境名字（按喜好，用英文） python=版本号
激活 conda activate 环境名字
pytorch选择对应版本的指令然后键入激活环境后的anaconda prompt中，等待下载(如果慢，可以找找换源，或者尝试参考网站1的办法)
安装完成后
运行py脚本测试安装结果
import torch
print(torch.__version__)
print("是否可用：", torch.cuda.is_available()) # 查看GPU是否可用
如果是否可用返回true，则安装成功。如果返回false，可能是安装成了cpu版本的Pytorch（我就是）。可以卸载Pytorch后重新安装（可以看参考网站3）
如果安装好pytorch环境之后跟着官网的流程来就行，是中文的，对中国人非常友好
全程都下载在新环境里面。
git clone https://github.com/THUDM/ChatGLM-6B.git
运行结束后，在终端切换到对应文件夹里面
# 安装gradio用于启动图形化web界面 pip install gradio
# 安装运行依赖 pip install -r requirements.txt
vs code切换环境按shift+ctrl+p，点击pyton解释器，选择之前创建的环境(切换到对应的环境才能使用环境里面下载的包)
直接运行web_demo.py等待一段时间后就可以使用了
科学上网时无法运行
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()
GPU
# FP16精度加载，需要13G显存
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()
# int8精度加载，需要10G显存
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().quantize(8).cuda()
# int4精度加载，需要6G显存
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().quantize(4).cuda()
CPU
#32G内存
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).float()
#16G内存
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).bfloat16()
日后将进一步阅读代码
1、运行chatglm后会在用户目录下出现一个大的缓存文件.cache里面有一个叫 huggingface的文件，会特别占用C盘内存。
测试后是，每回答一个问题就会消耗内存。
2、过几天后突然报错cchadet库，pip下载后解决，换源下载