如何验证DeepSeek-R1-Distill-Qwen-1.5B服务是否成功？日志查看教程

1. 模型服务部署概述

当你使用vLLM成功启动DeepSeek-R1-Distill-Qwen-1.5B模型服务后，最关心的问题就是：服务真的启动成功了吗？模型能正常响应请求吗？

本文将手把手教你如何通过查看日志和实际测试，确保你的模型服务正常运行。无论你是AI新手还是有一定经验的开发者，都能快速掌握这些实用技巧。

DeepSeek-R1-Distill-Qwen-1.5B是一个经过优化的轻量级模型，它在保持高质量输出的同时，大幅降低了资源需求。但再好的模型也需要正确部署才能发挥价值，所以学会验证服务状态至关重要。

2. 快速了解你的模型

在开始验证之前，先简单了解一下这个模型的特点：

DeepSeek-R1-Distill-Qwen-1.5B是DeepSeek团队基于Qwen2.5-Math-1.5B基础模型，通过知识蒸馏技术打造的轻量化版本。这个模型有几个突出优点：

• 参数效率高：通过智能压缩技术，在保持85%以上原始精度的同时，将参数量控制在1.5B级别
• 任务适配强：在专业领域表现优异，特别是在法律、医疗等垂直场景下效果提升明显
• 硬件友好：支持INT8量化，内存占用比标准模式降低75%，即使在普通显卡上也能流畅运行

3. 查看服务启动状态

3.1 定位工作目录

首先需要进入模型服务所在的工作目录。如果你按照标准方式部署，通常在这个位置：

cd /root/workspace

这个目录包含了模型服务的所有相关文件，包括最重要的日志文件。

3.2 检查启动日志

查看日志文件是判断服务状态最直接的方法：

cat deepseek_qwen.log

如果服务启动成功，你会看到类似这样的信息：

INFO: Started server process [1234]
INFO: Waiting for application startup.
INFO: Application startup complete.
INFO: Uvicorn running on http://0.0.0.0:8000

关键要看最后几行，如果显示"Application startup complete"和运行在8000端口，就说明服务已经正常启动。

常见问题排查：

• 如果看到"address already in use"，说明端口被占用，需要更换端口或停止其他服务
• 如果出现"model not found"，可能是模型文件路径配置错误
• 如果有内存不足的提示，可能需要调整批量大小或使用量化版本

4. 实际测试模型服务

光看日志还不够，真正测试一下模型能否正常响应才是硬道理。

4.1 准备测试环境

打开Jupyter Lab，创建一个新的Python笔记本。我们将使用以下代码来测试模型服务：

from openai import OpenAI
import requests
import json

class LLMClient:
    def __init__(self, base_url="http://localhost:8000/v1"):
        # 初始化客户端，连接到本地模型服务
        self.client = OpenAI(
            base_url=base_url,
            api_key="none"  # vLLM通常不需要API密钥
        )
        self.model = "DeepSeek-R1-Distill-Qwen-1.5B"

    def chat_completion(self, messages, stream=False, temperature=0.7, max_tokens=2048):
        """基础的聊天完成功能"""
        try:
            response = self.client.chat.completions.create(
                model=self.model,
                messages=messages,
                temperature=temperature,
                max_tokens=max_tokens,
                stream=stream
            )
            return response
        except Exception as e:
            print(f"API调用错误: {e}")
            return None

    def stream_chat(self, messages):
        """流式对话示例 - 可以实时看到模型生成内容"""
        print("AI: ", end="", flush=True)
        full_response = ""

        try:
            stream = self.chat_completion(messages, stream=True)
            if stream:
                for chunk in stream:
                    if chunk.choices[0].delta.content is not None:
                        content = chunk.choices[0].delta.content
                        print(content, end="", flush=True)
                        full_response += content
                print()  # 换行
                return full_response
        except Exception as e:
            print(f"流式对话错误: {e}")
            return ""

    def simple_chat(self, user_message, system_message=None):
        """简化版对话接口 - 最常用的测试方法"""
        messages = []
        if system_message:
            messages.append({"role": "system", "content": system_message})
        messages.append({"role": "user", "content": user_message})

        response = self.chat_completion(messages)
        if response and response.choices:
            return response.choices[0].message.content
        return "请求失败"

4.2 运行测试代码

复制上面的代码到Jupyter单元格中运行，然后使用以下代码进行实际测试：

# 初始化客户端
llm_client = LLMClient()

# 测试1：普通对话
print("=== 普通对话测试 ===")
response = llm_client.simple_chat(
    "请用中文介绍一下人工智能的发展历史",
    "你是一个有帮助的AI助手"
)
print(f"回复: {response}")

# 测试2：流式对话
print("\n=== 流式对话测试 ===")
messages = [
    {"role": "system", "content": "你是一个诗人"},
    {"role": "user", "content": "写两首关于秋天的五言绝句"}
]
llm_client.stream_chat(messages)

4.3 分析测试结果

如果一切正常，你应该能看到：

1. 普通对话测试：模型会返回一段关于AI发展历史的连贯文字
2. 流式对话测试：你会看到诗句逐字逐句地显示出来，就像真人在思考创作

成功标志：

• 响应时间在几秒内（取决于你的硬件）
• 返回的内容连贯、相关且符合逻辑
• 没有错误信息出现

如果测试失败，常见的错误和解决方法：

• 连接拒绝：检查服务是否真的启动，端口是否正确
• 超时错误：可能是模型加载问题，检查日志中的错误信息
• 内容不相关：调整temperature参数到0.5-0.7之间

5. 高级验证技巧

5.1 性能基准测试

想要更全面地了解服务状态，可以运行一个简单的性能测试：

import time

def performance_test():
    llm_client = LLMClient()
    start_time = time.time()
    
    # 测试10次简单请求
    for i in range(10):
        response = llm_client.simple_chat("你好", "简单回复")
        if response:
            print(f"请求{i+1}: 成功")
        else:
            print(f"请求{i+1}: 失败")
    
    total_time = time.time() - start_time
    print(f"\n总耗时: {total_time:.2f}秒")
    print(f"平均响应时间: {total_time/10:.2f}秒")

performance_test()

5.2 服务健康检查

你还可以使用curl命令快速检查服务状态：

curl http://localhost:8000/v1/models

如果服务正常，会返回模型信息；如果服务异常，会显示连接错误。

6. 使用建议和最佳实践

根据官方建议，使用这个模型时注意以下几点：

• 温度设置：保持在0.5-0.7之间（推荐0.6），避免输出重复或不连贯
• 提示词设计：所有指令都放在用户提示中，不要添加系统提示
• 数学问题：明确要求"逐步推理"，并将答案放在\boxed{}内
• 多次测试：评估性能时进行多次测试取平均值
• 思维模式：如果发现模型输出"\n\n"绕过推理，可以强制在输出开始时使用"\n"

7. 总结

验证DeepSeek-R1-Distill-Qwen-1.5B服务是否成功，其实很简单：先看日志确认服务启动，再实际测试确保模型响应。

记住这个验证流程：

1. 查看日志文件，确认服务正常启动
2. 运行测试代码，验证模型能正确响应
3. 根据需要，进行性能测试和健康检查

通过本教程的方法，你就能 confidently 确认模型服务是否部署成功。现在就去试试吧，享受AI模型带来的强大能力！

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。