项目地址wenda-LLM/wenda: 闻达:一个LLM调用平台。为小模型外挂知识库查找和设计自动执行动作,实现不亚于于大模型的生成能力 (github.com)
git clone https://github.com/wenda-LLM/wenda.git
cd wenda
mkdir model
文件夹下放入俩模型
chatglm-6b-int4
text2vec-large-chinese 这两个自行下载
mkdir txt
把知识库放入这个文件夹下, 格式 就是 问:xxxx 答:xxxx
然后 python plugin/gen_data_st.py 运行命令把知识弄进去
然后 就可以运行了
nohup python wenda.py -t glm6b &
控制台会打印 访问端口,用浏览器打开就可以用了