1.先是看了github的文章(如果打不开这篇文章,可能需要科学上网,即访问外网的VPN): https://github.com/THUDM/ChatGLM-6B 2.准备:台式机,GPU是8G。(关于是否可以在笔记本运行,我后面测试下,等我下一篇文章的更新);python;pycharm 3.打开github网址,下载代码( 方式一:图片里手动下载。 方式二:如果有git bsah的话,用git clone)。 3.下载上面的项目之后,用pycharm打开这个项目。 4.继续下载模型文章。下载网址https://huggingface.co/THUDM/chatglm-6b/tree/main 下载这个网页里的所有文件(一共20个),然后把这些文件放到一个新文件夹,文件夹命名为chatglm-6b 5.然后把这个文件夹,放到上面下载下来的项目里。 下载的项目里,就会多一个chatglm-6b文件夹。 6.把web_demo.py和cli_demo.py里面的“THUDM/chatglm-6b”改成“chatglm-6b” 这里的大概意思就是为了引用模型,因为我们把下载好的模型存放在chatglm-6b的文件夹,所以这里改成chatglm-6b 其次:代码部分还有一处要修改。 如果你的GPU 是8G。
7.这个时候运行web_demo.py文件,应该可以加载模型。 但是会报错。 报错如下:Torch not compiled with CUDA enabled 所以要保证两点: (1)存在AUDC (2)torch的版本和AUDC要一致。
具体步骤: 第一,先检查是否有AUDC,打开终端输入:nvcc -V 如果提示:无法找到 “nvcc” 命令,说明没有安装AUDC 第二,打开终端,输入命令行 nvidia-smi,可以查看电脑AUDC可以兼容的最高版本。 第三,AUDC下载安装网址: https://blog.csdn.net/David_house/article/details/125314103 我下载的是11.8版本 这里再附一个AUDC卸载网址: https://blog.csdn.net/m0_37605642/article/details/99100924
第四:pycharm 用terminal: 输入命令行:pip install -r requirements.txt 第五:需要卸载torch。 pycharm终端运行pip uninstall torch 第六:需要安装与AUDC对应版本的torch。 访问torch官网:https://pytorch.org/ 把上面框的命令行放到pycharm 的terminal 运行。就安装正确了正确的torch。 最后,运行web_demo.py 在模型加载完成后,稍微等2分钟,一个网页就打开了,这时就可以使用chatglm-6b啦。 这里引用了几篇文章,感谢这些作者。