超越DeepSeek,最强开源模型“千问3“四种本地部署方法,大模型入门到精通,收藏这篇就足够了!
阿里开源了当前最强的千问3(Qwen3)模型,包含从0.6B到235B的非常全面的规格,总有一款适合你。
阿里开源了当前最强的千问3(Qwen3)模型,包含从0.6B到235B的非常全面的规格,总有一款适合你。

官方宣称其亮点在于:
1、显著增强的推理能力,在数学、代码生成和常识逻辑推理方面超越之前的模型;
2、卓越的人类偏好对齐,在创意写作、角色扮演、多轮对话和指令跟随方面表现出色;
3、擅长智能体能力,可以在思考和非思考模式下精确集成外部工具;
4、支持100多种语言和方言,具有强大的多语言理解、推理、指令跟随和生成能力。
接下来介绍一下在Windows系统中的四种简便的本地部署方法(部分需要Ollama)。
方法一:LM Studio
1、安装LM Studio
打开官网:https://lmstudio.ai 点击下载最新版的LM Studio,并安装:

2、下载模型
打开工具后,可以点击Skip onboarding,先进入主界面:

点击模型按钮,设置模型保存目录,如果保持默认目录,模型会下载到C盘,可能会把C盘塞满:

点击发现按钮(上图中模型按钮下方的放大镜图标),选择想要下载的模型,点击右下角Download,等待完成:

之后点击正上方的模型选择框,就可以找到模型:

另一种下载模型的方法,是通过命令模式,在Windows搜索框输入cmd,回车,调出命令窗口:

点击官网的首页的Model Catalog按钮,进入后找到想要的模型:

此处以1.7b模型为例,可以找到:lms get qwen3-1.7b 这个指令,点击复制:

黏贴到命令窗口执行:

完成之后,就可以在LM Studio的模型选择框里选用:

稍微测试一下,略显遗憾的是,和其他国产模型一样,千问3尺度有限:

方法二:Ollama+Chatbox
1、安装Ollama
网址:https://ollama.com 点击下载:

选择适合你系统的版本(此处为Windows版),然后安装:

2、下载模型
点击Ollama首页上方的Models:

点击进入Qwen3的页面:

下拉菜单里有一大堆各种规格的模型,旁边标注着需要多少硬盘空间:

选择想要的模型,比如32b,点击右边如图按钮复制命令:

同样需要进入Windows命令窗口,然后执行刚才复制的命令,等待模型下载完成即可。
3、安装Chatbox
到官网:https://chatboxai.app/zh 点击“免费下载”,然后安装:

首次进入通常需要设置,在模型菜单要选择“模型提供方”为OLLAMA API,模型选择刚才下载的(比如:qwen3 32b),保存,然后点击新对话:

之后就可以使用,不过Chatbox有个小瑕疵,不能把“深度思考”的过程折叠:

方法三:Ollama+Open WebUI(需魔法)
1、安装Ollama(同方法二)
2、下载模型(同方法二)
3、安装Open WebUI
注意你需要已安装Python(如没有请从:https://www.python.org/ftp/python/3.11.9/python-3.11.9-amd64.exe 下载并安装),然后进入命令行窗口,依次运行下列指令:
pip install open-webui
open-webui serve
之后会弹出巨大的Open WebUI字样(关于triton的错误信息可以无视):

保持命令窗口开启,在浏览器中打开:http://localhost:8080 ,第一次进入可能需要注册账号,填好信息后就可以进入主界面。
点上方下拉菜单选择模型,开始对话:

方法四 Ollama+Page Assist浏览器插件
1、安装Ollama(同方法二)
2、下载模型(同方法二)
3、安装Page Assist插件
该插件目前支持Chrome浏览器和火狐浏览器,也支持Edge(需手动安装):

a、使用Chrome浏览器插件(需魔法)
下载网址:https://www.google.cn/intl/zh-CN/chrome
官网下载插件需要魔法,点击Chrome浏览器右上角的三个点,依次选中“扩展程序”、“访问Chrome应用商店”:

在应用商店的搜索框输入“page assist”,可以找到我们要用的插件,点击它:

点击“添加至Chrome”:

弹出提示,点击“添加扩展程序”:

添加完成之后,可以在浏览器上方的扩展程序中找到page-assist,是一个对话泡泡图标:

b、使用火狐浏览器插件
下载网址:https://www.firefox.com.cn
无需魔法,安装好火狐之后,点击右上角的这个扩展标记,选择“管理扩展”:

在“寻找更多附加组件”处搜索“page assist”:

出来的第一个就是,点击它:

选择“添加到Firefox”:

完成之后,你可以通过点击“管理扩展”的标记,启用page-assist:

Edge浏览器的安装相对麻烦一点,具体请参考之前的文章:本地部署DeepSeek-R1怎样联网
至此,所有方法介绍完毕。有人可能会问,这么多种模型到底有啥区别?选哪个?
简单来说,这些模型分为两大类:
一是稠密模型:如0.6B、1.7B、4B、8B、14B 和 32B,所有参数在推理时均被激活,适用于对精度要求较高的任务。
二是MoE模型:如30B-A3B、235B-A22B,仅激活部分参数,提升推理效率,适合资源受限的环境。
部分模型还有“FP8”后缀,表示该模型经过了FP8(8位浮点数)量化,可以在保持模型性能的同时,显著提升推理效率并减少资源消耗。
大概应用场景和显存需求如下图(非官方数据):

综合目前用户反馈,对于中高端家用显卡的用户,Qwen3-30B-A3B似乎是一个不错的选择。至于专业玩家,当然是选择最强的235B-A22B满血模型!
大模型算是目前当之无愧最火的一个方向了,算是新时代的风口!有小伙伴觉得,作为新领域、新方向人才需求必然相当大,与之相应的人才缺乏、人才竞争自然也会更少,那转行去做大模型是不是一个更好的选择呢?是不是更好就业呢?是不是就暂时能抵抗35岁中年危机呢?
答案当然是这样,大模型必然是新风口!
那如何学习大模型 ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。但是具体到个人,只能说是:
最先掌握AI的人,将会比较晚掌握AI的人有竞争优势。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
但现在很多想入行大模型的人苦于现在网上的大模型老课程老教材,学也不是不学也不是,基于此我用做产品的心态来打磨这份大模型教程,深挖痛点并持续修改了近100余次后,终于把整个AI大模型的学习路线完善出来!

在这个版本当中:
您只需要听我讲,跟着我做即可,为了让学习的道路变得更简单,这份大模型路线+学习教程已经给大家整理并打包分享出来, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓

一、大模型经典书籍(免费分享)
AI大模型已经成为了当今科技领域的一大热点,那以下这些大模型书籍就是非常不错的学习资源。

二、640套大模型报告(免费分享)
这套包含640份报告的合集,涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
三、大模型系列视频教程(免费分享)

四、2025最新大模型学习路线(免费分享)
我们把学习路线分成L1到L4四个阶段,一步步带你从入门到进阶,从理论到实战。

L1阶段:启航篇丨极速破界AI新时代
L1阶段:了解大模型的基础知识,以及大模型在各个行业的应用和分析,学习理解大模型的核心原理、关键技术以及大模型应用场景。

L2阶段:攻坚篇丨RAG开发实战工坊
L2阶段:AI大模型RAG应用开发工程,主要学习RAG检索增强生成:包括Naive RAG、Advanced-RAG以及RAG性能评估,还有GraphRAG在内的多个RAG热门项目的分析。

L3阶段:跃迁篇丨Agent智能体架构设计
L3阶段:大模型Agent应用架构进阶实现,主要学习LangChain、 LIamaIndex框架,也会学习到AutoGPT、 MetaGPT等多Agent系统,打造Agent智能体。

L4阶段:精进篇丨模型微调与私有化部署
L4阶段:大模型的微调和私有化部署,更加深入的探讨Transformer架构,学习大模型的微调技术,利用DeepSpeed、Lamam Factory等工具快速进行模型微调,并通过Ollama、vLLM等推理部署框架,实现模型的快速部署。

L5阶段:专题集丨特训篇 【录播课】

全套的AI大模型学习资源已经整理打包,有需要的小伙伴可以微信扫描下方二维码,免费领取

更多推荐



所有评论(0)