
未来已来!国产AI - DeepSeek本地化部署详细指南!
过年春节最火的技术新闻应该就是Deepseek了,黑神话悟空公司 游戏科学CEO冯骥甚至直接称之为刚开始还没太关注,但是黑猴玩挺多的,相信冯总也是认真做事的人,能拿到他的信任背书,肯定值得关注了,遂开始了解相关信息:抖音、知乎、B站的相关核心内容消化。后面发现幻方的创始人梁文峰也是吴川的,作为老乡与有荣焉,对创始人的成长经历、过往分享、价值观又做深层次的挖掘,不由得感慨:小镇做题家真是中国独有的财
过年春节最火的技术新闻应该就是Deepseek了,黑神话悟空公司 游戏科学CEO冯骥甚至直接称之为
国运级别技术突破!
刚开始还没太关注,但是黑猴玩挺多的,相信冯总也是认真做事的人,能拿到他的信任背书,肯定值得关注了,遂开始了解相关信息:抖音、知乎、B站的相关核心内容消化。
后面发现幻方的创始人梁文峰也是吴川的,作为老乡与有荣焉,对创始人的成长经历、过往分享、价值观又做深层次的挖掘,不由得感慨:小镇做题家真是中国独有的财富,同时对“国运”这种玄学真的不得不信。
OpenAI(CloseAI)现在带领的方向是通过堆算力设备,玩大力出奇迹,同时对高端显卡做出口管制,就是要限制国内的AI技术发展,但是总是有理想主义的天才能够另辟蹊径找到破局的方法,通过算法的方式优化训练成本,从训练成本到API价格都可以看到极致的成本控制,看到AI应用真的能成为水电的普惠性质的应用,做到科技改变生活。
ChatGPT的内容自己在论坛上分享也较早,但是不得不说还是有巨大的门槛,我是因为兴趣+行业才有心思钻研,但是对于普通人来说,要搞定 网络配置(科学)+ 账号注册 + SMS接码 + 防feng号处理,基本上已经劝退90%以上人群了。
现在这个门槛已经被拉平了,只要一个86手机号,就可以获得这种神器,我认为这种通用AGI简直就是古时候人们认为的全知全能的“圣人”,而且是有求必应的圣人,推荐大家也思考怎么结合行业进行落地应用,尽可能加强频率(也有一种焦虑:非核心工种的代替性太强了,电商领域更是,所以要有足够的敏感度,积极拥抱变化)
因为现在Deepseek太火了,直接给服务器干爆了,同时还承载了很多恶意攻击,API调用申请入口也直接关了,但是DeepSeek身上能看到伟大公司的基因就是:拥有这种核心技术(可以带来巨大的经济回报),但是还愿意直接开源。
要说幻方还是有理想主义的,公司是国内顶级量化私募机构,肯定有对这个DS这个项目做过商业化经济回报进行评估,舍弃巨大的利益,但是对全球的AI生态发展有巨大正向推动,之前都是要超级巨大的资金资源投入,但是开源之后大家都有了上牌桌的机会。
上面分享了一些基本信息,每次讲核心内容总会讲一下认识背景(doge)
今天分享的内容是:**DeepSeek本地化部署(技术向)**本地化部署方案
后面有机会再跟大家分享应用层面的相关信息:
1.亚马逊运营的AI应用(基础应用)
2.公司层面知识库建立(宏观应用)
01.
本地Ollama部署
打开Ollama官网,根据自己的系统点击下载
https://ollama.com/
下载之后按照默认设置完成安装即可,之后回到Ollama主页,点击model子页面
Ollama已经聚合了一些热门的开源模型,我们直接找到DeepSeek-r1模型
可以发现这里有很多不同的版本,选择自己电脑配置符合的(年后回去立马买4090)
具体配置可以参照这个表格
选好对应的模型,然后复制这串代码
Mac用户在电脑本地打开【终端】
Windows用户在电脑本地打开【命令行cmd】
接着Mac用户在电脑本地打开【终端】
Windows用户在电脑本地打开【cmd】
把刚才复制的代码,粘贴过来,回车,然后开始下载模型下载进度条走完之后,会自行安装,全部完成之后,我们就可以直接在终端开始使用了。
PS. 一定要留意选择符合自己电脑配置的模型,我的Mac装了7B的,背板温度直线升高。
安装完成之后,我们就可以直接在终端框进行使用了,但是实际使用的时候肯定还是不太方便的。所以我们下面介绍2种方法,给本地化部署增加交互界面,更符合我们的使用习惯
02.
Chatbox创建智能体
打开chatbox官网,启动网页版,chatbox也提供客户端,看自己的使用习惯
https://chatboxai.app/zh
然后点左下角【设置】
模型提供方选择Ollama
然后要根据这个教程设置一下
https://chatboxai.app/zh/help-center/connect-chatbox-remote-ollama-service-guide
就可以看到对应系统的教程了
然后回到Chatbox的官网,再点一下【设置】选择我们下载的模型,点击保存,就可以开始使用了。PS:如果这里没有显示模型,多是忘记重开Ollama的
Chatbox也提供创建智能体选项,可以帮我们处理特定的工作内容:如listing优化
后面有空再更新Docker的方案,docker的玩法更加丰富,可以创建语音智能体,但是相对而言更复杂,上面Chatbox已经可以满足多数人的使用需求了,看大家的反馈再决定是否更新这部分内容。
到这里已经大功告成了,快去试试吧!
👉👉【DeepSeek本地部署文档】
https://pan.quark.cn/s/7e0fa45596e4
最近,我的DeepSeek本地部署视频在B站播放量意外小爆,评论区被两类留言淹没:一类是技术爱好者追问“如何用消费级显卡跑通大模型”,另一类是职场人焦虑“我的工作会被AI取代吗?”这两个问题的背后,折射出一个残酷的真相:大模型技术正在重构所有行业的生存法则,而掌握这项技术的人将获得通往未来的船票。
DeepSeek的火爆对普通人意味着什么?
DeepSeek的火爆并非偶然。它代表了一种技术趋势:大模型技术正在从实验室走向大众。过去,大模型技术似乎只属于科技巨头和学术机构,普通人很难接触到。而现在,随着开源社区的活跃和技术的普及,像DeepSeek这样的工具已经可以让普通用户在自己的设备上部署和使用大模型。
对于普通人来说,DeepSeek的火爆意味着:
- 技术门槛降低:大模型技术不再遥不可及。通过本地部署,普通人也可以体验到强大的AI能力,无论是文本生成、对话系统还是其他AI应用。
- 个性化需求得到满足:大模型可以根据用户的需求进行定制化调整,满足个性化的应用场景。比如,你可以训练一个专门用于写作、编程或翻译的模型。
- 未来职业机会:大模型技术的普及将催生大量新的职业机会。无论是AI工程师、数据科学家,还是AI产品经理,掌握大模型技术将成为未来职场的重要竞争力。
DeepSeek的底层逻辑:大模型技术的核心
DeepSeek的底层逻辑正是基于大模型技术。大模型,顾名思义,是指参数量巨大、训练数据丰富的深度学习模型。这类模型通过海量数据的训练,能够捕捉到复杂的语言模式和知识结构,从而在各种任务中表现出色。
一、大模型岗位薪资揭密:应届生年薪40万起,跨界人才溢价300%
根据智联招聘《2024人工智能人才发展报告》,大模型相关岗位薪资较传统IT岗位平均高出67%,且呈现三大特征:
1.应届生起薪碾压传统行业
大模型算法工程师:本科28-40万/年,硕士40-60万/年
AI产品经理(无经验):25-35万/年
(数据来源:猎聘2024校招季统计)
2.跨界人才溢价惊人
医疗+大模型复合人才:薪资较纯医疗背景提升200-300%
金融风控+大模型工程师:年薪可达80-150万
(案例:某三甲医院影像科医生转型AI医疗,薪资从25万跃升至75万)
3.中小企业重金抢人
二线城市AI初创公司开出“北上广深同薪”政策
某成都电商企业为AI推荐算法工程师开出百万年薪
二、行业大地震:这些岗位正在消失,这些岗位正在爆发
▍消失中的岗位(3年内高危职业)
- 基础数据标注员(已被AutoML取代90%工作量)
- 初级代码工程师(GPT-4可完成60%基础代码)
▍爆发中的黄金岗位
1.大模型训练师
- 某直播公司开出82万年薪招聘“带货大模型调教师”
- 核心技能:Prompt工程+垂直领域知识(如美妆/3C)
2.AI业务流程重构师
- 制造业龙头企业50万年薪招聘“生产流程AI化专家”
- 典型案例:富士康通过大模型优化生产线,减少30%人力成本
3.AI伦理合规官
- 金融机构新增岗位“大模型风控总监”,年薪超百万
- 职责:防止AI在信贷审核、投资建议中出现歧视性输出
三、普通人破局指南:无需代码基础,三步抢占AI红利
我整理了全网稀缺的**《大模型落地应用实战资料包》**,包含:
1.LLM大模型学习大纲+路线图
2.152个大模型各行业结合的落地案例集
3.大模型必读书籍PDF电子版
4.大模型全套系统学习视频
5.真实大厂岗位面试题库
6.640套AI大模型行业白皮书
👉👉获取方式:
结语:你正在经历人类史上最大规模的生产力革命
当东莞工厂用大模型替代500个质检员,当律所AI助理处理80%合同审查,当小红书博主用AI生成90%的图文内容——这场变革不再关乎“是否会发生”,而是“你站在哪一边”。
记住两个数字:
- 2023年全球大模型应用市场规模:270亿美元
- 2027年预测市场规模:4070亿美元
这中间3700亿美元的增量市场,就是普通人改写命运的机会。4年后你会感谢今天的决定。
更多推荐
所有评论(0)