
阿里QwQ-32B本地部署指南:用Ollama轻松运行320亿参数大模型
在本地电脑硬件条件有限情况下,只能部署些参数小点的模型,虽然很多平台也提供了免登录,可以在线把玩满血版的DeepSeek。可我们总是寄望于国内外的这些大厂,能够训练出一个参数小点,且又能比肩。这不,阿里推出了一款可以媲美(671B)的小参数模型——QwQ-32B。QwQ-32BQwQ-32B小钢炮撼动了的“江湖地位”。甭管是QwQ团队的测评结果,还是来自“民间”的吹捧。最终,我们总得自己亲身部署了
本文已首发于 秋码记录
微信公众号:你我杂志刊
如果你也想搭建一个与秋码记录
一样的网站,可以浏览我的这篇 国内 gitee.com Pages 下线了,致使众多站长纷纷改用 github、gitlab Pages 托管平台
秋码记录
网站使用的主题是开源的,目前只在github.com
开源。hugo-theme-kiwi
开源地址:https://github.com/zhenqicai/hugo-theme-kiwi
在本地电脑硬件条件有限情况下,只能部署些参数小点的模型,虽然很多平台也提供了免登录,可以在线把玩满血版
的DeepSeek
。
可我们总是寄望于国内外的这些大厂
,能够训练出一个参数小点,且又能比肩DeepSeek满血版
。
这不,阿里推出了一款可以媲美DeepSeek满血版
(671B)的小参数模型——QwQ-32B
。
QwQ-32B
一经发布,激起了千层浪,可谓是:QwQ-32B
小钢炮撼动了DeepSeek满血版
的“江湖地位”。
甭管是QwQ
团队的测评结果,还是来自“民间”的吹捧。最终,我们总得自己亲身部署了,方知这款小钢炮
是否真的能比肩DeepSeek满血版
呢?
下载Ollama
- 访问Ollama官网下载Windows安装包
- 双击执行安装程序,保持默认配置(注意C盘空间)
- 验证安装:
CMD
输入ollama -v
显示版本号即成功。
下载模型
你得先设置好你的网络
,否则是下载不下来的。
安装 page assist 浏览器扩展
首先,我对国内很多人把浏览器扩展
说成了浏览器插件
,这是错误的,真正的浏览器插件
是什么?那是可以改变浏览器内核
的一套组件,而不是只修改网页上的内容。
并且,google
也都是叫extension
(扩展),而插件(plugin
)。
可能是我本地模型串家
了。
另外,Google
昨天发布了Gemma3
系列参数的多模态模型,可以在Ollama
进行下载。
更多推荐
所有评论(0)