1. 为什么要在Windows上部署ChatGLM-6B-INT4？

如果你对AI对话模型感兴趣，想在自己的电脑上体验一个能流畅聊天的“智能伙伴”，但又担心自己的显卡不够好，或者不想折腾复杂的Linux环境，那么ChatGLM-6B-INT4量化模型可能就是为你量身定做的。我刚开始接触大模型时，也被动辄需要十几GB显存的要求劝退过，直到发现了这个“宝藏”模型。

简单来说，ChatGLM-6B是一个拥有62亿参数的中英双语对话模型，由智谱AI和清华大学KEG实验室联合打造。而INT4量化，你可以把它想象成一种“模型压缩技术”。它通过降低模型权重参数的精度（从FP16浮点数压缩到INT4整数），在性能损失极小的情况下，将模型运行所需的显存从13GB大幅降低到仅需6GB。这意味着什么？意味着你手头一块普通的消费级显卡，比如GTX 1660 Ti、RTX 2060，甚至是某些高性能的笔记本显卡，都能轻松跑起来。如果你的电脑没有独立显卡，它也能在纯CPU环境下运行，只是速度会慢一些。

在Windows上部署，最大的好处就是省心和直观。你不用去学习Linux命令行，所有的操作都在你熟悉的图形界面下完成，文件管理、环境配置都更符合日常习惯。我实测下来，从零开始到模型成功运行，整个过程虽然会遇到一些“坑”，但只要跟着步骤走，最终都能顺利搞定，看到模型在你自己电脑上“开口说话”的那一刻，成就感是满满的。接下来，我就把自己在Windows 10/11系统上完整部署ChatGLM-6B-INT4的实战经验，包括踩过的坑和解决方案，毫无保留地分享给你。

2. 手把手搞定环境与依赖安装

在开始下载模型之前，我们需要先把“舞台”搭好。Windows系统本身缺少一些运行AI模型所需的底层编译环境，所以这一步是关键，但别怕，都是些点击下一步的活儿。

2.1 核心三件套：TDM-GCC、Git和Anaconda

首先，我们需要安装三个基础软件。

TDM-GCC：这是Windows下的一个GCC编译器套件。因为模型在CPU上运行时会自动编译一些高性能计算内核，需要GCC和OpenMP支持。安装时有个关键步骤：运行安装程序后，在组件选择界面，务必勾选“OpenMP”选项（通常默认是勾选的，但请检查确认）。我推荐下载TDM-GCC 10.3.0版本，亲测兼容性最好。安装完成后，可以打开命令提示符（CMD）输入 gcc --version 来验证是否安装成功。

Git：这是用来下载模型代码和权重文件的版本管理工具。直接去Git官网下载Windows版本，安装过程全部默认选项即可。安装后同样在CMD里用 git --version 检查。

Anaconda：这是Python环境管理的利器。它能为我们创建一个独立的、干净的Python运行环境，避免与系统其他Python项目产生冲突。下载Anaconda的Windows安装包，安装时注意勾选“Add Anaconda to my PATH environment variable”（将Anaconda添加到系统路径），这样以后在任意命令行窗口都能使用conda命令了。

安装完Anaconda后，我们打开Anaconda Prompt（这是一个专门为Anaconda配置的命令行工具，比普通CMD更好用）。我们来创建一个专属的虚拟环境：

# 创建一个名为chatglm，Python版本为3.10的虚拟环境
conda create -n chatglm python=3.10
# 激活这个环境
conda activate chatglm

激活后，命令行前缀会从 (base) 变成 (chatglm)，这表示我们已经进入这个独立的环境了，接下来所有操作都在这个“沙箱”里进行，不会影响系统。

2.2 获取模型代码与安装Python依赖

“舞台”搭好，该请“主角”上场了。我们需要两样东西：一是模型运行的源代码，二是INT4量化后的模型权重文件。

首先，获取源代码。在刚才激活的 (chatglm) 环境下，找一个你喜欢的目录（比如D盘根目录），执行：

# 从GitHub克隆ChatGLM-6B的官方仓库
git clone https://github.com/THUDM/ChatGLM-6B
cd ChatGLM-6B

这个仓库里包含了模型运行的完整代码，包括我们后面要用到的命令行对话、网页Demo和API接口脚本。

接下来，安装Python依赖库。项目提供了一个 requirements.txt 文件，里面列出了所有需要的包。我们直接用pip安装：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

这里我加上了 -i 参数指定清华镜像源，下载速度会快很多。安装过程中，重点关注 transformers 库的版本，官方推荐是4.27.1，但实测不低于4.23.1都可以。如果安装特别慢或出错，可以尝试单独升级pip：python -m pip install --upgrade pip。

3. 模型下载：选对路径，避开大坑

这是整个部署过程中最容易出问题的一环。模型权重文件很大（INT4版本大约5-6GB），而且下载源的选择直接影响后续能否成功运行。

3.1 首选方案：从Hugging Face手动下载（最稳妥）

我强烈推荐这个方法，虽然听起来有点“笨”，但却是最可靠、最不容易出错的。很多朋友在命令行下载时遇到网络中断、LFS（大文件存储）问题，最后都卡在这里。

  1. 打开浏览器，访问这个地址：https://huggingface.co/THUDM/chatglm-6b-int4/tree/main。
  2. 你会看到一个文件列表，里面包含了 pytorch_model.bin, config.json, tokenizer.model 等十几个文件。
  3. 不要犹豫，点击页面右上角的“Download all files”按钮（如果可用），或者老老实实地把列表里的每一个文件都点开，手动下载到你的电脑上。 这个过程可能需要一点耐心，因为有些文件比较大。
  4. 在之前克隆的 ChatGLM-6B 代码目录下，新建一个名为 model 的文件夹。将你下载的所有文件，原封不动地全部放入这个 model 文件夹内。

这样就完成了模型权重的“本地化”。为什么这么麻烦？因为从国内直接克隆Hugging Face仓库，经常会因为网络问题导致文件下载不完整，运行时就会报各种奇怪的错误，比如“找不到configuration_chatglm模块”。手动下载虽然步骤多，但能确保你拿到的是完整、正确的文件。

3.2 备选方案：从魔塔社区下载（需注意版本）

魔塔社区是国内的一个模型平台，下载速度通常很快。你可以通过命令 git clone https://www.modelscope.cn/ZhipuAI/chatglm-6b-int4.git 来下载。

但是！这里有个巨大的坑：魔塔社区上的模型文件更新可能不及时，其文件结构和版本有时会与Hugging Face上的最新版有细微差别。我亲自踩过这个坑，用魔塔的版本运行官方代码，出现了不兼容的报错。所以，如果你从这里下载，并且后续运行出错，首要的怀疑对象就是模型文件。我的建议是，除非你非常清楚自己在做什么，否则优先采用手动下载Hugging Face文件的方式，能为你节省大量排错时间。

4. 三大应用场景实战与配置修改

模型和代码都准备好了，现在让我们让它“活”起来。ChatGLM-6B提供了三种交互方式，适合不同场景。

4.1 极简命令行对话（cli_demo.py）

这是最快速、最轻量的测试方式。首先，我们需要修改代码，告诉它去哪里加载我们刚刚下载的模型。

用文本编辑器（如VSCode、Notepad++）打开 ChatGLM-6B 目录下的 cli_demo.py 文件。找到类似下面这行代码：

model = AutoModel.from_pretrained("THUDM/chatglm-6b-int4", trust_remote_code=True).half().cuda()

我们需要把它改成从本地路径加载。修改后的代码可能长这样：

# 假设你的模型文件放在 D:\ChatGLM-6B\model 目录下
model_path = "D:\\ChatGLM-6B\\model"
# 或者使用相对路径（如果你在ChatGLM-6B目录下运行脚本）
# model_path = "./model"

tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModel.from_pretrained(model_path, trust_remote_code=True).half().cuda()

关键点：

  • trust_remote_code=True 必须要有，因为ChatGLM使用了自定义的模型结构。
  • .half().cuda() 表示将模型转换为半精度并加载到GPU上。如果你的显卡显存不足6GB，或者想在CPU上运行，需要将这部分改为 .float()，例如： 
    model = AutoModel.from_pretrained(model_path, trust_remote_code=True).float() # CPU运行

保存文件后，在 (chatglm) 环境的命令行中，进入 ChatGLM-6B 目录，运行：

python cli_demo.py

程序会先加载模型（需要一两分钟），加载完成后，在命令行输入你的问题，比如“你好”，按回车，就能看到模型逐字输出的回答了。输入 clear 可以清空对话历史，输入 stop 退出程序。

4.2 优雅的网页交互界面（web_demo.py）

命令行虽然酷，但有个图形界面聊天会更舒服。这就需要用到Gradio库。首先确保已安装（通常 requirements.txt 已包含），如果没有就 pip install gradio。

同样，先修改 web_demo.py 文件。找到加载模型的那一行（和cli_demo里类似），将其中的 "THUDM/chatglm-6b-int4" 同样替换为你的本地 model 文件夹路径。

这里有一个常见的版本坑：如果你直接运行，可能会遇到 AttributeError: 'Textbox' object has no attribute 'style' 这个错误。这是因为新版的Gradio修改了API。解决方法很简单，安装一个兼容的旧版本：

pip uninstall gradio -y
pip install gradio==3.50.0

修改好模型路径并降级Gradio后，运行：

python web_demo.py

你会看到命令行输出一个本地URL，通常是 http://127.0.0.1:7860。用浏览器打开这个地址，一个简洁的聊天界面就出现了。你可以在这里进行多轮对话，体验比命令行好很多。注意，默认启动方式 share=False 只能在本地访问。如果你想临时分享给同一局域网内的朋友体验，可以将脚本最后一行改为 demo.queue().launch(share=True, inbrowser=True)，但注意这样速度可能会变慢。

4.3 接入自有应用的API服务（api.py）

如果你想开发自己的应用程序（比如一个桌面聊天软件、一个知识库问答机器人）来调用这个模型，那么启动API服务是最佳选择。

首先安装额外的依赖：

pip install fastapi uvicorn

然后，和前面一样，修改 api.py 文件中的模型加载路径，将其指向你的本地 model 目录。

修改完成后，运行：

python api.py

这个命令会启动一个后台服务，监听本地的8000端口。现在，你的模型就变成了一个可以通过HTTP请求调用的服务。你可以用任何编程语言（Python、JavaScript等）来调用它。例如，用Python的requests库测试一下：

import requests
import json

url = "http://127.0.0.1:8000"
data = {
    "prompt": "用Python写一个快速排序函数",
    "history": []
}
headers = {'Content-Type': 'application/json'}

response = requests.post(url, data=json.dumps(data), headers=headers)
print(response.json())

你会收到一个JSON格式的响应，包含了模型的回答和对话历史。这种方式为模型的能力集成到你的项目中提供了极大的灵活性。

5. 常见报错与性能优化全攻略

部署过程中，遇到报错是常态。别慌，我把我遇到的和收集到的典型问题及解决方案列出来，你很可能用得上。

报错1：No module named 'readline'

  • 现象：在Windows命令行运行cli_demo时出现。
  • 原因：readline是Unix/Linux下的一个库，Windows不原生支持。
  • 解决：安装替代库 pyreadline3。 
    pip install pyreadline3

报错2：not found in your environment: configuration_chatglm

  • 现象：提示找不到某个模块。
  • 原因：99%是因为模型文件下载不完整或错误，尤其是使用了不可靠的下载方式。
  • 解决：回头检查3.1节，老老实实从Hugging Face手动下载所有文件，并确保全部放入 model 目录。这是根治法。

报错3：FileNotFoundError: Could not find module 'nvcuda.dll' 或关于 quantization_kernels 的警告

  • 现象：出现这类dll找不到的警告或错误，但程序似乎还能继续运行。
  • 原因：这些是模型量化相关的CUDA内核文件。在Windows上，有时这些用C语言编译的组件会遇到兼容性问题。
  • 解决：如果程序最终能成功加载并对话，可以忽略这些警告，它们通常不影响核心的推理功能。如果确实想解决，可以尝试在 quantization.py 文件中寻找相关代码进行注释或修改，但操作较为复杂，且不一定有效。对于绝大多数只想体验对话功能的用户来说，忽略是最佳策略。

报错4：Web版Demo的 AttributeError: 'Textbox' object has no attribute 'style'

  • 原因与解决：上文已提及，Gradio版本兼容性问题，安装 gradio==3.50.0 即可。

性能优化建议：

  1. 硬件是根本：确保你的显卡驱动是最新的。对于NVIDIA显卡，去官网更新Studio版或Game Ready版驱动。
  2. 使用GPU推理：只要显存够，一定要用 .half().cuda() 加载到GPU，速度比CPU快一个数量级。
  3. 对话历史管理：模型会记住之前的对话历史（history），这会导致后续生成速度变慢，显存占用增长。在长时间聊天后，如果感觉变卡，可以重启Demo清空历史。
  4. 参数调优：在API或自定义调用中，可以调整生成参数，如 max_length（最大生成长度）、top_p（核采样）和 temperature（温度）。降低 max_length 和 temperature（如设为0.7）可以在一定程度上加快生成速度，并使回答更集中。

最后，成功运行的画面是最令人兴奋的。无论是命令行中逐字跳出的智慧回答，还是网页界面里流畅的互动，亦或是通过API调用获取的结构化结果，都标志着你在自己的Windows电脑上成功搭建了一个属于你自己的AI对话引擎。这个过程就像在组装一台复杂的乐高，每一步的验证和最终的运行，带来的都是实实在在的收获。希望这份详细的指南能帮你扫清障碍，顺利开启你的本地大模型之旅。如果在实际操作中遇到新的问题，不妨多看看社区论坛，很多时候，你踩的坑别人已经填平了。

Logo
DeepSeek技术社区

欢迎加入DeepSeek 技术社区。在这里，你可以找到志同道合的朋友，共同探索AI技术的奥秘。

更多推荐

Google能索引，AI却抓不到

很多技术团队有个错觉：只要Google能正常收录，内容就没问题。但现实是，你的页面在Google搜索结果里好好的，在ChatGPT、Perplexity、Claude的答案里却像从未存在过一样。

avatar DeepSeek技术社区

初识智能体

在过去两年中，几乎所有人都体验过大语言模型（如 ChatGPT、Claude、DeepSeek）的强大能力：写周报、润色邮件、解答编程疑难。被动响应：你问一句，它答一句。如果你的 Prompt 没有写清楚约束条件，它无法主动追问或修正目标。知行脱节：大模型能用流畅的文字告诉你“如何部署一个高可用 K8s 集群”，但它无法替你登录服务器敲下命令、查看报错日志并自动回滚。信息孤岛：大模型的知识止步于预

avatar DeepSeek技术社区

DeepSeek总结的时间旅行者的主键

来源：https://www.pgedge.com/blog/the-time-traveler-s-primary-key。

avatar DeepSeek技术社区