1. 环境准备：搭建你的AI实验室

想在自己的电脑上跑一个能和你聊天的AI吗？听起来很酷，但第一步得先把“实验室”搭起来。这个实验室就是运行ChatGLM-6B所需要的软件环境。别担心，这个过程就像给你的电脑安装一个专用的“AI工具箱”，我会带你一步步搞定，避开我当初踩过的那些坑。

首先，你得有个趁手的“工具箱管理器”。这里我强烈推荐使用 Anaconda。它不是什么高深的东西，你可以把它理解成一个“软件集装箱”系统。它能帮你为不同的项目创建完全独立的软件环境，比如你电脑上可能同时有做数据分析的、玩机器学习的、还有现在要部署AI模型的。用Anaconda，这些项目的软件包版本互不干扰，A项目需要Python 3.8，B项目需要Python 3.10，它们可以和平共处，不会打架。这对于AI项目尤其重要，因为不同模型依赖的库版本可能天差地别。去Anaconda官网下载安装包，一路“下一步”安装就行，记得在安装时勾选“Add Anaconda to my PATH environment variable”（将Anaconda添加到系统路径），这样后面在命令行里用起来才方便。

安装好Anaconda后，我们打开“命令提示符”（Windows）或“终端”（Mac/Linux）。接下来，我们要创建一个专属的“集装箱”，名字就叫chatglm，里面预装好Python 3.8。为什么是3.8？因为这是经过大量测试，与ChatGLM-6B及其依赖库兼容性最好的版本之一，能最大程度避免奇怪的版本冲突。命令很简单：conda create -n chatglm python=3.8。回车后，它会列出将要安装的包，输入y确认。等它跑完，这个干净的“集装箱”就建好了。

建好了得进去干活。激活环境的命令是：conda activate chatglm。你会看到命令行提示符前面多了一个(chatglm)，这就表示你已经在这个专属环境里了，之后所有操作都不会影响到电脑的其他部分。接下来是重头戏：安装PyTorch。PyTorch是ChatGLM-6B运行的底层引擎，就像汽车的发动机。安装它需要一点技巧，因为必须选择和你电脑显卡（GPU）匹配的版本。如果你用的是NVIDIA显卡，先去官网查一下你显卡支持的CUDA版本（比如11.3, 11.6, 12.1等）。然后去PyTorch官网，使用它的安装命令生成器，选择对应的版本。以CUDA 11.3为例，安装命令可能长这样：pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113。直接复制到你的命令行里执行。这一步网络下载可能比较慢，耐心等待。安装成功后，可以输入python -c "import torch; print(torch.cuda.is_available())"测试一下，如果返回True，恭喜你，PyTorch和GPU联动成功！

最后，我们还需要一些辅助工具。gradio是一个能快速把AI模型变成网页界面的神器，让我们能用浏览器和ChatGLM聊天。安装它：pip install gradio。至此，基础环境就搭建完毕了。你可以把这个环境想象成一个专门为ChatGLM-6B定制的、工具箱齐全的工作台，接下来我们就要把模型“请”进来了。

1.1 获取模型代码与权重

模型本身分为两部分：一是“说明书”和“操作流程”，也就是源代码；二是模型经过海量数据训练后学到的“知识”和“经验”，也就是模型权重文件。源代码托管在GitHub上，我们通过一条命令就能“克隆”到本地：git clone https://github.com/THUDM/ChatGLM-6B.git。这条命令会在你当前所在的文件夹里，创建一个名为ChatGLM-6B的目录，里面就是所有需要的代码。

接下来是下载模型的“知识”——权重文件。这个文件比较大，有好几个GB。官方提供了几种方式。最直接的是从Hugging Face模型库下载。你可以修改代码里的模型路径，让它自动从Hugging Face拉取。但考虑到网络问题，国内下载可能会非常慢甚至失败。别急，还有Plan B：国内镜像。清华大学提供了模型权重的国内镜像，速度会快很多。具体操作是，在运行代码前，先设置环境变量：export HF_ENDPOINT=https://hf-mirror.com（Linux/Mac）或在代码中指定镜像地址。这样，当你第一次运行程序时，它会自动从国内镜像站下载模型文件，我实测下来速度能稳定在几MB/s，体验好很多。

下载过程是全自动的，你只需要在第一次运行脚本时耐心等待。模型文件会保存在你的用户目录下的.cache/huggingface文件夹里。一旦下载完成，以后就再也不用下载了。这里有个小提示：确保你的硬盘有至少15GB的剩余空间，因为模型文件（包括不同精度版本）加起来体积不小。一切就绪后，我们的“实验室”和“原料”都备齐了，可以开始组装和调试了。

2. 代码调整与Web界面启动

拿到代码后，我们不是直接就能用的，需要根据自己电脑的实际情况做一些小小的“适配”。这就像买回来的家具，可能需要根据房间大小微调一下。原始代码里提供了一个非常方便的演示脚本web_demo.py，它能启动一个本地网页，让我们通过浏览器和ChatGLM对话。我们先来看看怎么让它跑起来。

首先，用命令行进入刚才克隆下来的ChatGLM-6B目录：cd ChatGLM-6B。确保你已经激活了之前创建的chatglm虚拟环境（命令行前有(chatglm)标识）。我们先安装项目明确需要的其他依赖包，执行：pip install -r requirements.txt。这个requirements.txt文件就像一份食材清单，pip命令会根据它自动安装所有必需的Python库。

现在打开web_demo.py文件看看。用任何文本编辑器（比如VS Code、Notepad++）都行。你会看到文件最后有一行关键的启动命令：demo.queue().launch(share=True)。这行命令启动了Gradio服务。share=True参数会生成一个临时的公网链接，方便你在其他设备上访问，但这个链接有时效性。为了更稳定地在本地使用，我们需要做两处修改：第一，指定服务器监听所有网络接口（这样在同一局域网下的手机或平板也能访问）；第二，指定一个固定的端口号，避免每次端口随机变。修改后的代码行应该是这样的：

demo.queue().launch(share=False, server_name="0.0.0.0", server_port=7860)

我把share改成了False，因为我们主要在本地用。server_name="0.0.0.0"表示允许任何IP访问（当然仅限于你的内网），server_port=7860是指定端口为7860，你可以换成任何你喜欢且未被占用的端口，比如9234。

保存文件后，回到命令行，直接运行：python web_demo.py。程序会开始加载模型。如果你第一次运行，这里会触发模型权重的下载。加载过程会在命令行中打印日志，你可以看到它正在加载哪些模块。当看到类似“Running on local URL: http://0.0.0.0:7860”的提示时，就说明成功了！打开你的浏览器，输入http://localhost:7860，一个简洁的聊天界面就出现了。在下方输入框里问个“你好”，稍等片刻，你就能看到ChatGLM-6B的回复了！这一刻的成就感，相信我，非常棒。

2.1 常见启动问题与排错

第一次运行很少有一帆风顺的，我遇到过不少问题，这里把常见的坑和解决办法分享给你。问题一：ImportError 或 ModuleNotFoundError。这通常是缺少某个Python库。请确保你在正确的虚拟环境下，并且执行了pip install -r requirements.txt。如果还报错，根据错误信息提示的缺失库名，手动pip install安装一下。

问题二：CUDA out of memory（CUDA内存不足）。这是最可能遇到的问题，意味着你的显卡显存放不下整个模型。别慌，这正是我们下一节要解决的“模型量化”要处理的核心问题。在量化之前，模型以FP16（半精度）加载，大约需要13GB显存。如果报这个错，先别急着运行Web界面，直接跳到下一节进行量化操作。

问题三：端口被占用。如果你指定的端口（比如7860）已经被其他程序用了，启动会失败。解决方法一是换一个端口，比如server_port=7861；解决方法二是在命令行找出占用端口的进程并关闭它。在Windows上可以用netstat -ano | findstr :7860，在Linux/Mac上用lsof -i:7860。

问题四：页面能打开，但模型不回复。查看命令行窗口是否有错误信息。可能是模型加载失败。一种常见情况是模型权重文件下载不完整或损坏。可以尝试删除缓存目录（通常是~/.cache/huggingface/下的相关文件夹），重新运行程序让它再次下载。另外，确保你的网络连接在下载过程中是稳定的。按照这些步骤排查，大部分启动问题都能解决。

3. 模型量化：让大模型“瘦身”跑起来

如果你的显卡显存没有13GB这么大（事实上，大多数消费级显卡如RTX 3060、4060等都在8GB或12GB），直接加载原始模型肯定会“爆显存”。这时候就需要“模型量化”这个神器出场了。你可以把它理解为给模型“瘦身减肥”或者“压缩打包”，在尽量不影响它智商（性能）的前提下，大幅减少它对内存和显存的占用。

模型在训练时通常使用FP32（单精度浮点数）或FP16（半精度浮点数）来存储参数，以保证计算精度。但研究发现，在推理（也就是使用模型对话）时，我们并不需要这么高的精度。量化技术就是将模型参数从高精度（如FP16）转换为低精度（如INT8甚至INT4）表示。举个例子，原来用一个32位的“大箱子”装一个数字，现在改用8位或4位的“小盒子”来装，虽然每个盒子能表示的数值范围小了、精度低了，但成千上万个参数累加起来，节省的空间是巨大的，而且对最终输出结果的影响往往在可接受范围内。

ChatGLM-6B官方提供了非常方便的量化接口。我们回头看加载模型的那行核心代码：

model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()

这行代码做了三件事：从指定路径加载模型（from_pretrained）、将模型转换为半精度FP16（.half()）、将模型放到GPU上（.cuda()）。我们要做的，就是在.half()和.cuda()之间，插入量化操作.quantize()。

对于显存8GB左右的显卡（如RTX 3070、RTX 4060 Ti），可以尝试INT8量化：

model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().quantize(8).cuda()

量化后显存占用会降到约10GB，很多8GB卡通过共享系统内存也能勉强跑起来，但速度会受影响。

对于显存6GB或更小的显卡（如RTX 3060 6GB，甚至一些4GB的卡），就必须使用INT4量化了：

model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().quantize(4).cuda()

这是官方宣称的最低配置，量化后显存占用约6GB。我实测在RTX 3060 12GB上，INT4量化后显存占用在5.5GB左右，响应速度也很快。量化过程在模型加载时自动完成，你只需要修改这一行代码，然后重新运行web_demo.py即可。第一次进行量化加载时会多花一点时间，因为它需要在内存中执行转换操作，之后就会保存量化后的缓存，下次加载就快了。

3.1 纯CPU运行：没有显卡也能玩

如果你的电脑没有NVIDIA显卡，或者显卡实在太老（比如只有2GB显存），也别灰心。ChatGLM-6B同样支持纯CPU运行，只是速度会慢很多，把它当成一个“离线版”的智能助手来用，体验一下大模型的魅力是完全可行的。

纯CPU运行的代码修改更简单，直接去掉.cuda()，并将精度转换为适合CPU的格式即可。如果你的电脑内存很大（32GB以上），可以使用FP32精度，效果最好但最慢：

model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).float()

如果内存是16GB左右，可以使用BFloat16精度，这是一种在CPU上也能较好保持数值范围的半精度格式，能在速度和内存占用间取得平衡：

model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).bfloat16()

在CPU上运行，首次加载模型和生成回复都会非常慢（可能需要几分钟），请保持耐心。一旦模型加载进内存，后续的对话响应会快一些。你可以去泡杯茶，回来它可能就想好怎么回答你了。这是一种截然不同的体验，它让你真切地感受到，一个拥有62亿参数的“大脑”正在你那普通的电脑芯片上思考。

4. 深入代码：定制你的对话机器人

能用Web界面聊天已经很酷了，但如果你想把它集成到自己的项目里，或者想更精细地控制对话的逻辑和样式，那就需要深入看看代码了。web_demo.py是一个很好的起点，它清晰地展示了如何调用模型、管理对话历史。我们来拆解一下关键部分。

最核心的对话函数是model.chat()。我们看看它在代码中是如何被调用的：

response, history = model.chat(tokenizer, input, history)

• tokenizer: 这是分词器，负责把你的输入句子拆分成模型能理解的“单词”（token），也负责把模型生成的token转换回你能看懂的句子。
• input: 就是你当前输入的问题或对话内容。
• history: 这是一个列表，保存了之前多轮的对话历史和回复。模型正是依靠这个历史来理解上下文，实现连续对话的。每次调用后，这个history都会被更新，包含最新的对话轮次。

web_demo.py里定义了一个predict函数，它接收用户输入和当前历史状态，调用model.chat得到回复和新的历史，然后格式化这些内容，更新网页上的聊天记录框。如果你想改变对话的行为，比如限制回复的最大长度、调整回复的“创造性”（通过temperature参数），就需要修改调用model.chat的方式。不过，基础的chat方法参数比较固定，更高级的控制需要对模型生成过程有更深的理解。

界面的构建用的是Gradio库，它用起来非常直观。gr.Blocks()创建了一个块状的布局容器。gr.Textbox()创建输入框，gr.Button()创建按钮，gr.State()用来在后台存储对话历史这个状态变量。button.click(predict, [txt, state], [state] + text_boxes)这行代码将前端的按钮点击事件，和后端的predict函数绑定在一起。当点击按钮时，它会将输入框txt和状态state的值传给predict函数，函数计算完后，返回新的状态和要更新的文本框内容。

4.1 实现持续对话与历史管理

ChatGLM-6B支持多轮对话的关键在于history参数。这个history是一个列表，里面的每个元素都是一个包含两个字符串的元组(query, response)，也就是一轮完整的“问”和“答”。模型在生成新的回复时，会“看”这个历史列表，从而理解整个对话的脉络。

在web_demo.py的示例中，历史管理是自动的。但如果你是自己写脚本调用，就需要手动维护这个列表。一个简单的交互式命令行对话脚本可能是这样的：

from transformers import AutoModel, AutoTokenizer
import torch

tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().quantize(4).cuda()
model = model.eval()

history = []
print("欢迎使用ChatGLM-6B，输入'exit'退出，输入'clear'清空历史")
while True:
    query = input("\n用户：")
    if query == "exit":
        break
    if query == "clear":
        history = []
        print("历史已清空")
        continue
    response, history = model.chat(tokenizer, query, history=history)
    print(f"ChatGLM：{response}")

这个脚本会在命令行里和你对话。你输入clear，它就会把history列表清空，模型就会“忘记”之前的所有对话内容。这是因为模型本身没有记忆，它的“记忆”完全依赖于我们每次传给它的history。所以，如果你想做一个能长期记忆的聊天机器人，就需要自己设计一套机制，把历史对话持久化地存储到文件或数据库里，每次对话时再加载进来。这就是定制化的开始，也是乐趣所在。

5. 性能优化与实用技巧

模型跑起来之后，你可能会关心：怎么能让它回答得更快？怎么让它更“聪明”地回答问题？这里分享几个我摸索出来的实用技巧和优化点。

第一，利用max_length和temperature参数。 虽然基础的chat接口没有直接暴露这些参数，但你可以通过更底层的model.stream_chat或直接使用model.generate方法来获得更多控制权。max_length可以限制生成回复的最大长度，避免模型有时候“话痨”起来没完没了。temperature参数控制回复的随机性：值越低（如0.1），回复越确定、保守，倾向于选择概率最高的词；值越高（如0.95），回复越随机、有创意，但也可能更不着边际。对于事实性问答，建议用低temperature；对于创意写作，可以用高一点的。

第二，注意系统资源占用。 在模型运行期间，打开任务管理器（Windows）或htop（Linux），观察GPU和内存的使用情况。如果GPU利用率一直很高，风扇狂转，这是正常的，模型在计算。如果发现内存（尤其是显存）占用在缓慢增长，直到溢出，那可能是存在内存泄漏。一个常见的做法是，在长时间运行后，重启一下Web服务。对于生产环境，需要考虑设置会话超时和自动清理机制。

第三，尝试不同的量化策略。 除了官方提供的INT8/INT4量化，社区还有一些更激进的量化方法，比如GPTQ、AWQ等。这些方法能在更低精度（如INT3甚至INT2）下保持更好的效果。不过这些方法通常需要额外的转换步骤，对新手来说稍复杂。如果你对显存要求极其苛刻，可以搜索“ChatGLM-6B GPTQ”等关键词寻找相关项目。

第四，结合LangChain等框架。 如果你想让ChatGLM-6B的能力更进一步，比如让它能读取你的本地文档并基于文档回答问题，可以结合LangChain这个强大的AI应用开发框架。LangChain能帮你轻松地连接文档加载器、向量数据库和语言模型。你可以将本地TXT、PDF文件转换成文本片段，存入向量数据库，当用户提问时，先从数据库中检索出相关的文本片段，再连同问题和片段一起交给ChatGLM-6B生成答案。这就实现了一个简单的私有知识库问答系统。这超出了本文的基础部署范围，但绝对是值得探索的下一步。

最后，保持耐心和探索的心态。本地部署大模型和调用API完全不同，你会遇到各种环境问题、版本冲突、资源不足的挑战。每一个问题的解决，都会让你对这套技术栈的理解更深一层。当看到自己电脑上的模型流畅地回答问题、甚至帮你写代码、翻译文档时，那种一切尽在掌控的感觉，是使用任何在线服务都无法替代的。