1、编辑web_demo2.py文件
2、在原始命令加上.half()
原始命令:model = AutoModel.from_pretrained("/app/model/chatglm2-6b",trust_remote_code=True).half().cuda()
改为:model = AutoModel.from_pretrained("/app/model/chatglm2-6b",trust_remote_code=True).cuda()