陆理手记

一个集编程和项目管理有关的站点，主要分享Java、Python、Vue教程和实践，以及项目管理相关知识

Python

开源大模型ChatGLM2-6B部署指南

By liu luli #AIGC, #chatglm2-6b
内容纲要

1.ChatGLM2-6B简介

关于ChatGLM2-6B，在其开源项目中的介绍如下：
ChatGLM2-6B 是开源中英双语对话模型ChatGLM-6B的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B 引入了如下新特性：

  • 更强大的性能：基于 ChatGLM 初代模型的开发经验，全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 GLM 的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练，评测结果显示，相比于初代模型，ChatGLM2-6B 在 MMLU（+23%）、CEval（+33%）、GSM8K（+571%） 、BBH（+60%）等数据集上的性能取得了大幅度的提升，在同尺寸开源模型中具有较强的竞争力。

  • 更长的上下文：基于 FlashAttention 技术，基座模型的上下文长度（Context Length）由 ChatGLM-6B 的 2K 扩展到了 32K，并在对话阶段使用 8K 的上下文长度训练。对于更长的上下文，开发团队还发布了 ChatGLM2-6B-32K 模型。LongBench 的测评结果表明，在等量级的开源模型中，ChatGLM2-6B-32K 有着较为明显的竞争优势。

  • 更高效的推理：基于 Multi-Query Attention 技术，ChatGLM2-6B 有更高效的推理速度和更低的显存占用：在官方的模型实现下，推理速度相比初代提升了 42%，INT4 量化下，6G 显存支持的对话长度由 1K 提升到了 8K。

  • 更开放的协议：ChatGLM2-6B 权重对学术研究完全开放，在填写问卷进行登记后亦允许免费商业使用。

当然，大家也可以通过chatglm.cn体验更大规模的ChatGLM模型。另外，商用的话请务必遵守其协议。

file

2.部署准备工作

本文部署基于Windows Server,如果你的设备是linux 或 Mac, 可以参考项目文档进行部署。

在部署ChatGLM2-2b模型之前，首先需要保证系统中已安装版本3.9.x以上的python环境。如果你还未安装，你可以使用Anaconda，或直接前往python官网前去下载。

然后我们用git将ChatGLM2-6b项目下载至本地

git clone https://github.com/THUDM/ChatGLM2-6B.git
cd ChatGLM2-6B

下载完成后，安装好依赖

pip install -r requirements.txt

transformers 库版本推荐为4.30.2，torch推荐使用2.0及以上的版本，以获得最佳的推理性能。

Windows系统在安装过程中，很有可能会出现因为找不到C++库而出现异常 DLL load failed while importing _sentencepiece, 此时建议你前往Microsoft装一下C++库，就能解决该问题了。
DLL

安装好后，我已经迫不及待想体验一把大模型了，于是直接通过命令想来感受一下

python  web_demo.py

然而，事与愿违，首先在运行时，会由transformers 自动下载模型实现和参数。而完整的模型实现在Hugging Face Hub。我的的网络环境较差，于是我决定，先将模型下载下来，让ChatGLM2-6B从本地加载模型，这一个下载，等待了将近1个小时左右吧。修改模型为本地加载，将from_pretrained()的路径改为本地模型路径：

tokenizer = AutoTokenizer.from_pretrained("D:\codespace\LLM\model\chatglm2-6b", trust_remote_code=True)
# GPU推理
# model = AutoModel.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True).cuda()

# cpu推理
model = AutoModel.from_pretrained("D:\codespace\LLM\model\chatglm2-6b", trust_remote_code=True).float()

如果你是windows操作系统，可以打开任务管理器，看看你的硬件是否有GPU，如果有，建议你选择下面的GPU部署方式体验ChatGLM2-6B大模型。

2.CPU部署

CPU部署ChatGLM2-6B，推荐需要32G内存，由于只是体验下ChatGLM2-6B,我就按官方给出的标准配置了服务器，同时呢，将代码改成：

model = AutoModel.from_pretrained("D:\codespace\LLM\model\chatglm2-6b", trust_remote_code=True).float()

可以通过运行如下命令，启动基于Gradio的网页版demo：

python web_demo.py

确实能跑，但不知道为什么，即使按照项目文档中的说法，将launch方法中的share = Fasle, 改为True后，仍无法通过外网访问。

demo.queue().launch(share=True, inbrowser=True)

于是我采用了经官方测试，运行更为流畅的 streamlit 网页版demo，

streamlit run web_demo2.py

OK, Run起来了，也给同事们体验了一把，但是CPU确实推理速度很差。拍个小视频，顺便附上截图感受下：

回头望一眼，服务器的CPU资源直接被梭哈的精光。
CPU资源

一开始我先用8核，再用16核，最后32核，虽说再推理速度上有一点提升，但还是不够流畅，而且依旧会出现CPU资源占满的情况。

所以还是不推荐大家使用CPU部署啊，太吃力了，对机器和人都是折磨！

3.GPU部署

有些小伙伴可能从未部署过或使用过GPU学习，不要紧！我这就告诉你，怎么把你的GPU用起来。如果是windows系统使用任务管理器来判断设备是否有GPU。
file

确认你的设备支持GPU后，前往Nvidia下载驱动并安装
window11安装GPU驱动

安装GPU驱动中…

GPU驱动

需要注意一点，一定要核对touch与cuda的相应的版本，否则很有可能报错

AssertionError: Torch not compiled with CUDA enabled

安装好驱动后，我们可以用以下代码来验证cuda是否可以使用：

>>> import torch
>>> print(torch.__version__)
2.0.1+cpu
>>> print(torch.cuda.is_available())
False

如果你想要使用 GPU，但你的Pytorch版本又是 cpu 的，请到下图所示的网站，复制安装命令。安装可能会耗费比较长的时间，甚至出现网络中断的情况，如果你的网络环境不佳，建议你下载whl文件本地安装。

pytorch

安装完成后，同样使用 print(torch.cuda.is_available()) 方法验证cuda是否可用，这次返回True了！

我们进入项目运行 streamlit run web_demo2.py，体验一把！就让它为我们写首诗吧！

AIGC

4.API 部署

ChatGLM2-6B还支持命令行进行交互式的对话，以及API部署的形式，由于API部署的用处更为广泛，这里我就介绍一下使用API进行部署。

首先需要安装额外的依赖
pip install fastapi uvicorn
然后运行仓库中的api.py

python api.py

默认部署在本地的 8000 端口，通过 POST 方法进行调用

curl -X POST "http://127.0.0.1:8000" \
     -H 'Content-Type: application/json' \
     -d '{"prompt": "你好", "history": []}'

得到的返回值为

{
  "response":"你好👋！我是人工智能助手 ChatGLM2-6B，很高兴见到你，欢迎问我任何问题。",
  "history":[["你好","你好👋！我是人工智能助手 ChatGLM2-6B，很高兴见到你，欢迎问我任何问题。"]],
  "status":200,
  "time":"2023-03-23 21:38:40"
}

运行仓库中的python openai_api.py 可以实现OpenAI格式的流式API部署，用作任意基于GPT应用的后端。
有了这个demo，加以优化，岂不是可以实现商业化应用了？不过，记得申请token哦！

chatglm2-6b

5.思考

从ChatGPT大模型2、3月份开始爆火，一鸣惊人，到如今遍地开花，似乎像是一场狂风暴雨，席卷着各行各业，并带来颠覆性的改变。
目前大模型的应用，尚且不够完善和普及，但我相信，已经有众多企业在基于开源大模型和一些积累的数据，在做一些机器学习和数据集的训练，对自己原有的产品进行打磨和雕刻，垂直领域的行业通用大模型相信很快就会到来…
大模型未来的发展，不是在云上，而是在本地，不是越大越好，而是轻量化部署。大模型，不应该只是拥有高科技企业的专利，不应该只是云服务厂商专属服务，为什么这么说？大模型涉及到的数据隐私，因此对诸多企业来说，本地化、轻量化部署，才是最终的出路。
而是令我最担忧的是，中小企业在这场GPT风云中，又该如何紧握船舵，驶向远方?

By liu luli

8年IT行业从业经验，参与、负责过诸多大型项目建设。掌握多门编程语言，对Java、Python编程有较为深刻的理解。现为杭州某公司开发负责人。

Related Post

Python

WSGI与ASGI：两种Python Web服务器网关接口的比较

liu luli
Python

Python如何实现查看WiFi密码？

liu luli
Python

Python中的交互式数据可视化工具Streamlit

liu luli
2 thoughts on “开源大模型ChatGLM2-6B部署指南”

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注