vllm版本0.9.1

启动大模型没有添加--reasoning-parser qwen3参数

reasoning-parser 相关功能是在 vLLM 0.9.x 及以后版本中逐步引入的（主要用于推理任务的结构化输出解析）

完整启动命令参考：

vllm serve /[大模型路径]/Qwen3-32B \

--served-model-name Qwen3-32B \

--host 0.0.0.0 \

--port 8001 \

--dtype float16 \

--tensor-parallel-size 1 \

--max-model-len 32768 \

--reasoning-parser qwen3 \

--enable-auto-tool-choice \

--tool-call-parser hermes

# json
Logo
DeepSeek技术社区

欢迎加入DeepSeek 技术社区。在这里，你可以找到志同道合的朋友，共同探索AI技术的奥秘。

更多推荐

终极优化：Qwen3-VL-8B-Instruct-w8a8-llmcompressor-v0.12.0的OpenMP配置与ZenDNN加速技巧

Qwen3-VL-8B-Instruct-w8a8-llmcompressor-v0.12.0是一款高效的多模态大模型，通过8位量化（W8A8）技术实现了性能与效率的平衡。本文将介绍如何通过OpenMP配置和ZenDNN加速技术，充分发挥AMD硬件优势，让模型在保持精度的同时获得更快推理速度。## 模型量化基础：W8A8方案解析该模型采用了创新的8位量化方案，通过[config.json]

avatar DeepSeek技术社区

为什么选择mlx-community/DeepSeek-V4-Pro-Qwen3.5-9B-4bit？4bit量化如何实现高效推理与多模态融合

mlx-community/DeepSeek-V4-Pro-Qwen3.5-9B-4bit是一款基于MLX框架优化的4bit量化模型，专为Apple Silicon设备打造，通过高效压缩技术实现了大模型在本地设备上的快速部署与多模态融合能力。该模型源自Jackrong/DeepSeek-V4-Pro-Qwen3.5-9B基础模型，保留了原始模型的文本编码、图像理解和视频处理功能，同时通过4bit量

avatar DeepSeek技术社区

告别图层混乱：如何用Qwen-Image-Layered实现真正的无损图像编辑

你有没有遇到过这样的烦恼？想要修改一张图片中的某个元素，却发现这个元素和其他内容紧密融合，一动就会破坏整个画面。传统的图像编辑工具常常让你在"牵一发而动全身"的困境中挣扎，要么接受不完美的修改，要么花费数小时进行繁琐的选区工作。现在，想象一下这样的场景：你上传一张照片，AI能自动识别并分离出其中的不同元素——人物、背景、文字、装饰物——每个元素都成为一个独立的透明图层。你可以单独调整任何一个图

avatar DeepSeek技术社区