Qwen（通义千问）部署量化微调实践

通义千问（Qwen）是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。今天我们来对这个模型进行本地部署实践python 3.8及以上版本pytorch 1.12及以上版本，推荐2.0及以上版本建议使用CUDA 11.4及以上（GPU用户、

咔咔学姐kk

4508人浏览 · 2024-11-04 15:42:29

咔咔学姐kk · 2024-11-04 15:42:29 发布

通义千问（Qwen）是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。

今天我们来对这个模型进行本地部署实践

一、环境要求

python 3.8及以上版本
pytorch 1.12及以上版本，推荐2.0及以上版本
建议使用CUDA 11.4及以上（GPU用户、flash-attention用户等需考虑此选项）

二 、快速部署

git clone https://github.com/QwenLM/Qwen``pip install -r requirements.txt

PS：如果你的显卡支持fp16或bf16精度你还推荐安装flash-attention来提高你的运行效率以及降低显存占用。（不是必选项）

git clone -b v1.0.8 https://github.com/Dao-AILab/flash-attention``cd flash-attention && pip install .

下面我们可以Transformers来调用qwen模型了，代码具体如下：

from transformers import AutoModelForCausalLM, AutoTokenizer``from transformers.generation import GenerationConfig``?``# 可选的模型包括: "Qwen/Qwen-7B", "Qwen/Qwen-14B"``tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen-7B", trust_remote_code=True)``?``# 打开bf16精度，A100、H100、RTX3060、RTX3070等显卡建议启用以节省显存``# model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B", device_map="auto", trust_remote_code=True, bf16=True).eval()``# 打开fp16精度，V100、P100、T4等显卡建议启用以节省显存``# model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B", device_map="auto", trust_remote_code=True, fp16=True).eval()``# 使用CPU进行推理，需要约32GB内存``# model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B", device_map="cpu", trust_remote_code=True).eval()``# 默认使用自动模式，根据设备自动选择精度``model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B", device_map="auto", trust_remote_code=True).eval()``?``# 可指定不同的生成长度、top_p等相关超参``model.generation_config = GenerationConfig.from_pretrained("Qwen/Qwen-7B", trust_remote_code=True)``?``inputs = tokenizer('南斯拉夫战争后，分裂为哪几个国家？', return_tensors='pt')``inputs = inputs.to(model.device)``pred = model.generate(**inputs)``print(tokenizer.decode(pred.cpu()[0], skip_special_tokens=True))``# 南斯拉夫战争之后，南斯拉夫社会主义联邦共和国彻底解体，分裂为以下几个独立国家： 斯洛文尼亚    克罗地亚    波斯尼亚和黑塞哥维纳（波黑）    北马其顿    黑山    塞尔维亚.....

三 、模型量化

1、AutoGPTQ量化法：

在量化使用前，请先保证满足要求（如torch 2.0及以上，transformers版本为4.32.0及以上，等等），并安装所需安装包：

pip install auto-gptq optimum

如安装auto-gptq遇到问题，我们建议您到官方repo搜索合适的wheel。repo网址：

https://github.com/PanQiWei/AutoGPTQ

随后即可使用和上述一致的用法调用量化模型：

# 可选用的模型包括："Qwen/Qwen-7B-Chat-Int4", "Qwen/Qwen-14B-Chat-Int4"``model = AutoModelForCausalLM.from_pretrained(`    `"Qwen/Qwen-7B-Chat-Int4",`    `device_map="auto",`    `trust_remote_code=True``).eval()``response, history = model.chat(tokenizer, "hello", history=None)

2、KV cache量化法

提供use_cache_quantization以及use_cache_kernel两个参数对模型控制，当use_cache_quantization以及use_cache_kernel均开启时，将启动kv-cache量化的功能。具体使用如下：

model = AutoModelForCausalLM.from_pretrained(`    `"Qwen/Qwen-7B-Chat",`     `device_map="auto",`     `trust_remote_code=True,`     `use_cache_quantization=True,`     `use_cache_kernel=True,`     `use_flash_attn=False``)

四、微调

在已经下载的程序目录，找到finetune.py脚本，它供用户实现在自己的数据上进行微调的功能。

1、准备微调数据，需要的微调数据样式如下：

[`  `{`    `"id": "identity_0",`    `"conversations": [`      `{`        `"from": "user",`        `"value": "九源的山楂树林里有几棵树？",`      `},`      `{`        `"from": "assistant",`        `"value": "有15棵树"`      `}`    `]`  `}``]

准备好数据后，你可以使用我们提供的shell脚本实现微调。

注意，需要在脚本中指定你的数据的路径。

finetune目录下有几个脚本：能够帮你实现，全参数微调，LoRA，Q-LoRA集中方式的微调。

全参数微调：

# 分布式训练。由于显存限制将导致单卡训练失败，我们不提供单卡训练脚本。``# 注意运行前改数据文件路径哦``sh finetune/finetune_ds.sh

LoRA微调：

在开始前，请确保已经安装peft代码库。另外，记住要设置正确的模型、数据和输出路径。我们建议你为模型路径使用绝对路径。这是因为LoRA仅存储adapter部分参数，而adapter配置json文件记录了预训练模型的路径，用于读取预训练模型权重。

# 单卡训练``sh finetune/finetune_lora_single_gpu.sh``# 分布式训练``sh finetune/finetune_lora_ds.sh

Q-LoRA微调：

# 分布式训练``sh finetune/finetune_qlora_ds.sh``# 官方建议你使用我们提供的Int4量化模型进行训练，即Qwen-7B-Chat-Int4。然而，与全参数微调以及LoRA不同，Q-LoRA仅支持fp16。

微调完成后，和全参数微调不同，LoRA和Q-LoRA的训练只需存储adapter部分的参数。具体代码如下：

from peft import AutoPeftModelForCausalLM``   ``model = AutoPeftModelForCausalLM.from_pretrained(`    `path_to_adapter, # path to the output directory`    `device_map="auto",`    `trust_remote_code=True``).eval()

五、WEB UI

觉得命令行调用太不方便，官方提供了webui,具体安装如下：

pip install -r requirements_web_demo.txt``# 随后运行脚本启动web``python web_demo.py --server-port 8087 --server-name "0.0.0.0"

六、对外API

先安装依赖

pip install fastapi uvicorn openai "pydantic>=2.3.0" sse_starlette

随后即可运行以下命令部署你的本地API：

python openai_api.py

具体调用api脚本：

import openai``openai.api_base = "http://localhost:8000/v1"``openai.api_key = "none"``response = openai.ChatCompletion.create(`    `model="Qwen",`    `messages=[`        `{"role": "user", "content": "hello"}`    `],`    `stream=False,`    `stop=[] # 在此处添加自定义的stop words``)``print(response.choices[0].message.content)

END