Qwen2.5-1.5B本地AI助手教程：支持Markdown输出与代码块高亮显示

想不想在本地电脑上拥有一个随时待命的AI助手？它不仅能和你聊天、解答问题，还能像专业程序员一样，用漂亮的Markdown格式和语法高亮的代码块来回答技术问题。今天，我们就来手把手教你搭建一个基于Qwen2.5-1.5B模型的本地智能对话助手。

这个项目最大的亮点就是完全在本地运行。你的所有对话、问题、甚至是一些敏感的技术讨论，都只在你的电脑里处理，不会上传到任何云端服务器。这对于注重隐私的开发者来说，简直是福音。而且，它基于阿里通义千问官方的小模型，虽然体积小，但对话能力一点也不弱，特别适合在个人电脑或资源有限的服务器上运行。

学完这篇教程，你将能独立部署一个带有美观Web界面的AI聊天应用，并亲身体验它如何用清晰的格式和代码高亮来提升技术问答的阅读体验。

1. 项目核心：你的本地AI伙伴

在开始动手之前，我们先快速了解一下这个项目的核心是什么。简单说，它就是一个打包好的智能对话服务，核心是阿里的Qwen2.5-1.5B-Instruct模型。

为什么选择这个模型？ 因为它足够“轻”。1.5B的参数规模，意味着它对电脑硬件的要求非常友好。你不需要昂贵的专业显卡，普通家用电脑的GPU，甚至只用CPU也能比较流畅地运行。它专门针对指令进行了优化，所以你问它问题，它能很好地理解并给出符合要求的回答。

它能做什么？

• 技术问答：比如“Python里怎么快速反转一个字典？”
• 代码辅助：解释代码片段、生成简单函数、排查常见错误。
• 文案创作：帮你写邮件、构思社交媒体文案、起草简单文档。
• 知识解答：基于其训练数据，回答历史、科学、文化等通用知识问题。
• 格式化的回答：这是本教程的重点——它会用Markdown语法组织答案，让代码块自动高亮，让列表、加粗等排版清晰可见，阅读起来非常舒服。

项目的关键优势：

• 隐私安全：所有对话100%在本地处理，数据不出你的设备。
• 开箱即用：我们已经用Streamlit做好了Web界面，你不需要从零开始写前端。
• 轻量高效：模型小，加载快，在有限资源下也能有不错的响应速度。
• 对话连贯：它能记住你们聊天的上下文，进行多轮连续的对话。

2. 环境准备与一键启动

整个过程非常简单，几乎不需要你配置复杂的环境。我们假设你已经在一个提供了必要Python环境（比如Jupyter Lab或类似空间）的平台上。

2.1 核心准备：模型文件

这是唯一需要你提前准备的东西。你需要将Qwen2.5-1.5B-Instruct的模型文件放在指定的目录下。

1. 获取模型：你需要从阿里官方渠道（如ModelScope）下载完整的Qwen2.5-1.5B-Instruct模型文件。
2. 存放模型：将下载好的整个模型文件夹，上传到你的工作空间的 /root/qwen1.5b 路径下。
   • 请确保这个路径下包含 config.json, model.safetensors (或 .bin文件), tokenizer.json 等所有必需文件。
   • 你可以通过文件管理器查看 /root/qwen1.5b 目录，确认文件是否齐全。

2.2 启动服务

准备好模型文件后，启动服务就一行命令的事。在你的工作空间创建一个新的Python文件（例如 app.py），将下面的代码复制进去。

import streamlit as st
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# 标题
st.set_page_config(page_title="Qwen2.5-1.5B 本地助手")
st.title("🧠 Qwen2.5-1.5B 本地智能对话助手")
st.caption("完全本地运行 · 对话数据零上传 · 支持Markdown与代码高亮")

# 定义模型路径，必须与你存放的路径一致
MODEL_PATH = "/root/qwen1.5b"

@st.cache_resource
def load_model():
    """缓存加载模型和分词器，只需加载一次"""
    st.info(f" 正在加载模型，请稍候... (路径: {MODEL_PATH})")
    tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH, trust_remote_code=True)
    model = AutoModelForCausalLM.from_pretrained(
        MODEL_PATH,
        torch_dtype="auto",  # 自动选择最佳精度（BF16/FP16/FP32）
        device_map="auto",   # 自动分配GPU/CPU
        trust_remote_code=True
    ).eval()  # 设置为评估模式，节省资源
    st.success(" 模型加载成功！")
    return model, tokenizer

# 加载模型
model, tokenizer = load_model()

# 初始化对话历史
if "messages" not in st.session_state:
    st.session_state.messages = [{"role": "assistant", "content": "你好！我是你的本地AI助手Qwen，有什么可以帮你的？"}]

# 侧边栏：清空对话按钮
with st.sidebar:
    st.header("设置")
    if st.button("🧹 清空对话", use_container_width=True):
        st.session_state.messages = [{"role": "assistant", "content": "对话已清空。有什么新问题吗？"}]
        torch.cuda.empty_cache() if torch.cuda.is_available() else None
        st.rerun()

# 显示历史对话
for msg in st.session_state.messages:
    avatar = "" if msg["role"] == "assistant" else "👤"
    with st.chat_message(msg["role"], avatar=avatar):
        # 关键：这里使用st.markdown渲染内容，使模型输出的Markdown和代码块生效
        st.markdown(msg["content"])

# 聊天输入框
if prompt := st.chat_input("输入你的问题..."):
    # 添加用户消息到历史
    st.session_state.messages.append({"role": "user", "content": prompt})
    with st.chat_message("user", avatar="👤"):
        st.markdown(prompt)

    # 生成助手回复
    with st.chat_message("assistant", avatar=""):
        message_placeholder = st.empty()  # 先占个位，用于显示“正在思考”
        full_response = ""

        # 1. 使用官方模板格式化对话历史
        chat_text = tokenizer.apply_chat_template(
            st.session_state.messages[:-1],  # 传入之前的对话历史
            tokenize=False,
            add_generation_prompt=True
        )
        # 2. 将用户最新问题拼接到格式化后的文本后
        inputs = tokenizer(chat_text + prompt, return_tensors="pt").to(model.device)

        # 3. 开始生成回复（禁用梯度计算以节省显存）
        with torch.no_grad():
            generated_ids = model.generate(
                **inputs,
                max_new_tokens=1024,  # 生成内容的最大长度
                do_sample=True,       # 启用采样，使输出更多样
                temperature=0.7,      # 采样温度，控制随机性
                top_p=0.9,            # 核采样参数，控制词汇选择范围
                pad_token_id=tokenizer.eos_token_id
            )
        # 4. 解码生成的文本，并跳过输入部分
        input_length = inputs.input_ids.shape[1]
        response_ids = generated_ids[0][input_length:]
        response = tokenizer.decode(response_ids, skip_special_tokens=True)

        # 5. 流式输出效果（逐字显示）
        for chunk in response:
            full_response += chunk
            message_placeholder.markdown(full_response + "▌")  # 光标效果
        message_placeholder.markdown(full_response)  # 最终显示完整回复

    # 将助手回复添加到历史
    st.session_state.messages.append({"role": "assistant", "content": full_response})

保存文件后，直接在终端运行：

streamlit run app.py

第一次启动会慢一些（大概10-30秒），因为需要从磁盘加载模型到内存（或显存）。看到终端提示加载成功，并且浏览器自动打开一个本地网页（通常是 http://localhost:8501）时，就说明你的本地AI助手已经就绪了！

3. 功能体验：与你的AI助手对话

现在，你的浏览器里应该有一个简洁的聊天界面了。让我们试试它的核心功能。

3.1 发起一次技术问答

在页面底部的输入框里，尝试问一个技术问题。比如，输入：

请用Python写一个函数，计算斐波那契数列的第n项，并解释其时间复杂度。

按下回车，稍等几秒，你就会看到助手的回复。它应该会：

1. 用 Markdown格式 组织答案，可能包括标题、列表。
2. 将 Python代码放在代码块中，并且代码块会有语法高亮，看起来非常清晰。
3. 在代码后面，用文字解释时间复杂度和可能的优化方向。

这就是我们想要的效果！模型被训练成能够输出结构良好的Markdown文本，而Streamlit的 st.markdown() 函数完美地将其渲染成了美观的格式。

3.2 进行多轮对话

AI助手能记住上下文。你可以接着上面的问题继续问：

那如果用递归实现，代码会怎样？有什么缺点吗？

它会基于刚才讨论的斐波那契数列话题，给出递归版本的代码，并分析其效率低下的原因（比如重复计算）。对话气泡会完整保留，让你们聊天的脉络一清二楚。

3.3 使用侧边栏清空对话

聊完一个话题想换个新的，或者感觉响应变慢了（可能是显存占用多了），可以点击页面左侧的 “🧹 清空对话” 按钮。

• 这会重置聊天历史，界面回到初始状态。
• 同时，它会尝试清理GPU的显存缓存，释放资源，为新的对话做好准备。

4. 核心机制解析：如何实现格式化输出

你可能好奇，为什么这个助手能输出这么漂亮的格式？关键在于以下两点：

1. 模型的“教养”好： Qwen2.5-1.5B-Instruct 这类经过指令微调的模型，在训练时就被灌输了大量格式规范的文本数据（包括GitHub上的代码、技术文档等）。它学会了在回答技术问题时，使用像Markdown这样的轻量级标记语言来组织信息，因为这样最清晰、最专业。

2. 前端的“渲染”强： 我们的代码中，在显示每一条消息时，使用的都是 st.markdown(msg[“content”])。Streamlit 的 markdown 组件功能强大，不仅能渲染加粗、斜体、列表，更能识别用三个反引号 ``` 包裹的代码块，并自动根据指定的语言（如python, javascript）进行语法高亮。

# 这是代码中的关键一行
st.markdown(msg["content"])

正是这行代码，把模型生成的、包含Markdown标记的纯文本，转换成了你看到的漂亮排版和高亮代码。

处理流程简化版：

你输入问题 -> 模型思考并生成带Markdown的文本回复 -> Streamlit用st.markdown()渲染 -> 你看到美观的格式化结果

5. 总结：你的私有知识伙伴

恭喜你！你已经成功部署了一个功能完备的本地AI对话助手。我们来回顾一下它的价值和特点：

• 隐私安全：所有数据处理均在本地，无需担心敏感信息泄露。
• 即开即用：基于Streamlit的界面直观友好，无需任何前端知识。
• 输出美观：支持Markdown渲染和代码高亮，技术问答阅读体验极佳。
• 资源友好：1.5B小模型，在消费级硬件上也能流畅运行。
• 用途广泛：无论是学习编程时的随问随答，还是工作中的文案草拟、思路整理，它都是一个得力的本地助手。

你可以根据自己的需求，修改代码中的参数，比如调整 temperature 来改变回答的创造性，或者修改 max_new_tokens 来控制生成长度。这个项目是一个很好的起点，你可以在此基础上，探索更多本地AI应用的可能性。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。