LMDeploy（由 InternLM 团队开发的高效推理引擎）迎来 v0.7.3 版本，带来多项重磅升级！本次更新不仅新增了对 Qwen3、Qwen3MoE、DeepSeekV2、Llama4 等热门模型的支持，还在 Ascend NPU 上优化了 8bit 量化推理（W8A8），并大幅提升 MOE（混合专家）模型 的推理效率！

📢 核心更新亮点

1. 🔥 新模型支持

   • Qwen3 & Qwen3MoE：通义千问最新开源模型，MoE 架构性能更强！
   • DeepSeekV2：深度求索的高效大模型，推理速度再升级！
   • Llama4：Meta 新一代开源模型，LMDeploy 率先适配！

2. ⚡ Ascend NPU 优化

   • 支持 W8A8 低精度推理，显著降低显存占用！
   • QwenVL2.5 支持 Graph 模式，推理速度更快！
   • MOE 模型优化，Ascend 平台性能提升！

3. 💡 功能增强

   • 交互式 API 支持 spaces_between_special_tokens，优化特殊 token 处理。
   • 动态端口检测，避免端口冲突问题。
   • Dynamo 模式修复，提升 PyTorch 兼容性。

4. 🐞 Bug 修复

   • 修复 finish_reason 返回错误问题。
   • 优化 MLP 激活计算，减少显存占用。
   • 修复 Qwen3MoE 配置解析 问题。

🆚 LMDeploy vs. Ollama vs. VLLM：谁更强？

结论：

• LMDeploy 在 国产芯片（Ascend）优化 和 MOE 模型支持 上优势明显，适合企业级部署。
• Ollama 适合 个人开发者 快速体验模型，但功能较简单。
• VLLM 在 GPU 高并发推理 上表现优秀，但缺少 NPU 支持。

📥 如何体验？

pip install lmdeploy==0.7.3

或参考官方文档：https://github.com/InternLM/lmdeploy