
全民上手大模型ollama+langchain+deepseek本机跑通大模型
基于这些因素,导致大模型的事情总是少数人在玩,国人也是一肚子气,我们国产的大模型deepseek已经达到了世界顶级的水准,作为一名技术从业者,写下这篇文章是让大家都有一份自己的大模型,将大模型的门槛彻底打穿!过年嘛,我试着让deepseek帮忙写一首诗,可以直接感受一下,其实是不是国产的,让大模型来诗词歌赋就好了,一下子就知道是不是俺们国产的了,而且并不是简单的帮你写,内容上也是很经验的。我下载模
前言
相信这个春节大家都被deepseek刷屏了,写本篇文章是因为我经历过了各种付费+测试之后很艰难想入手大模型,国内的同学学技术还是太困难了,但是看到市面上各种火爆,实在有按捺不住想体验,终于迎来了一个契机。 在此之前,应该大家都了解OpenAPI,确实强大,但是国内用户来说,有以下问题: 一、网络不通,这里还不是简单的翻墙的问题,是他的网站都不对中国大陆开放,政治因素就不谈了。 二、贵这玩意其实是按调用次数收费的,厉害点的功能其实都要收费,还是美元。 三、其实中文方面还是没有那么强了。
基于这些因素,导致大模型的事情总是少数人在玩,国人也是一肚子气,我们国产的大模型deepseek已经达到了世界顶级的水准,作为一名技术从业者,写下这篇文章是让大家都有一份自己的大模型,将大模型的门槛彻底打穿!!!
快速体验
国产大模型本身也没什么门槛,直接在官网注册即可,另外官网已经提供了手机端的下载,从网页点击即可
过年嘛,我试着让deepseek帮忙写一首诗,可以直接感受一下,其实是不是国产的,让大模型来诗词歌赋就好了,一下子就知道是不是俺们国产的了,而且并不是简单的帮你写,内容上也是很经验的。
问题:可以模拟滕王阁序,写一篇关于春节的诗文么?
回答:
《新春赋》
时维元月,序属初春。寒梅尽而新柳青,霜霰收而甘霖至。循青帝之旧轨,访东君于故里。万家张灯,启朱门而纳瑞;千村结彩,扫玉宇以迎春。爆竹声碎,惊落星河满地;屠苏酒暖,催开桃李半城。
观夫岁序更迭,阴阳交泰。灶王返驾,司命传佳音于阊阖;桃符更新,神荼镇邪祟于门庭。稚子衣新,笑捉迷藏于市井;高堂鬓白,欣看戏彩于庭除。灶膛火旺,蒸腾八珍之味;鼎鼐香浓,烹煮四时之鲜。
至若除夕良夜,围炉守岁。手机抢红包之乐,银屏传祝福之频。虽隔重山,视频可通千里面;纵居异域,网络能联九州心。然则古风犹在,孝悌未泯。叩首拜高堂之健,焚香祭先祖之灵。鞭炮声中,旧岁随烟而逝;钟鼓响处,新元踏歌而来。
嗟乎!时运流转,佳节恒昌。昔王勃临江叹逝水,今吾辈对屏话沧桑。虽世殊时异,然人情未改。愿借春风之笔,书平安于万户;更祈澍雨之泽,润嘉禾于四方。盛世无饥馁,何须耕织至三更?寒门有书香,不必凿壁借萤光。
临屏寄意,恭贺新禧。非谢家之宝树,接孟氏之芳邻。他日趋庭,再续团圆之乐;今朝传讯,聊表思念之诚。谨呈俚句,恭祝诸君:
火树银花不夜天,屠苏饮罢又经年。
视频虽可传春信,不及归家压岁钱。
技术栈
作为技术人员都会做这么一件事情,需要让大模型为自己所用的话需要自己部署在本地,下面就来做说明。正如标题,我们其实是需要在本机搭建好模型的运行环境使用的技术正是ollama+langchain+deepseek,部署好了之后我们就可以写自己的程序进行调用了。更加长远的意义是在于可以接入自己内部的服务,本文给出的例子是python和java的调用。
开源大模型运行平台Ollama
Ollama,这是是一个开源的大语言模型平台,它允许用户在本地环境中运行、创建和共享大型语言模型。Ollama提供了丰富的功能和特性,使得用户可以在自己的计算机上轻松地部署和运行大型语言模型。注意啦,是自己的机器就可以哦!官网:https://ollama.com/
deepseek
这就是我们国产的模型了,其实还有通义千问等模型
用户友好API接口
langchain其实是一套规范化的API,实现了标准化对模型的集成、接入、组件化等工作,通过langchain用户可以很轻松打造属于自己的大模型产品。langchain很早就出来了,大模型出来的时候,因为对使用大模型的定制做了封装,也是一下子火爆起来了。
上链接 https://github.com/langchain-ai/langchain
安装ollama
下载并安装
现在官网其实没有那么多乱七八糟的,直接一进去就是一个下载按钮,点就是了
下载模型
进入命令行
ollama run + 模型名
模型在官网上直接罗列了一批,每个模型都要点硬盘,大家按照自己的需求下载,没有列出来的,可以在模型仓库里面找,deepseek模型比较火,排第一的就是
大模型7b指的是具有70亿(7,000,000,000)可训练参数的大型语言模型。这里的“b”是英文“Billion”的缩写,表示十亿。参数越多功能就越强悍,不过对应要的磁盘也比较多哦,按照实际情况下载即可。
我下载模型具体如下,因为模型确实比较大,所以要的时间也是比较久哦, 如果失败,再次执行就行,可以断点续传的。
ollama run deepseek-r1
pulling manifest
pulling 96c415656d37... 100% ▕█████████████████████████████████▏ 4.7 GB
pulling 369ca498f347... 100% ▕█████████████████████████████████▏ 387 B
pulling 6e4c38e1172f... 100% ▕█████████████████████████████████▏ 1.1 KB
pulling f4d24e9138dd... 100% ▕█████████████████████████████████▏ 148 B
pulling 40fb844194b2... 100% ▕█████████████████████████████████▏ 487 B
verifying sha256 digest
writing manifest
success
使用模型-调戏大模型
本地下载好了模型之后,下次进入直接运行下面命令即可
ollama run deepseek-r1
大模型是支持带上下文语义的,不断提自己要求即可
帮我写一首关于春节的骈文
这里文字很多...略
《大年初一》
瑞气盈门祥光绕,
家家户户闹喧阗。
儿童欢笑风筝舞,
杨柳新抽绿意盎。
雷动龙腾辞旧岁,
春来喜庆迎新年。
瑞兽趋吉趋瑞气,
瑞气盈门乐无边。
使用langchain跑起来
langchain是python的库,我们其实是希望按照我们的程序跑起来啦,这样子我们才可以放到微信里面,钉钉里面,或者嵌入到网站上面,变成我们的机器人交互。
环境准备
python开发要养成习惯,尽量使用隔离的环境去做项目,不然很多乱七八糟的报错说不清楚。
--安装虚拟环境
# 创建一个名为 llvm 的虚拟环境
python3 -m venv llvm
# 激活虚拟环境
source llvm/bin/activate
代码跑起来
from langchain_ollama import OllamaLLM
from langchain.prompts import PromptTemplate
ollama_llm = OllamaLLM(model="deepseek-r1")
prompt = PromptTemplate.from_template("帮我写一首关于${product}的骈文,不要有英文的结果啊")
sequence = prompt | ollama_llm
response = sequence.invoke({"product": "春天"})
print(response)
结果如下
以下是我模仿该作品风格创作的一首新的骈文:
春回大地舞,万物奋新芽
东风拂面柔,花枝颤悠悠
燕子高飞过,莺歌婉转调
雨后初荷动,清风入水涛
曲江池畔柳,堤岸花枝俏
春日步幽径,微风伴我行
寻芳踏青草,乐事无穷欢
采菊东篱下,悠然见南山
鸟语盈林间,山青水碧潭
注:我的仿写创作思路是围绕春天的生机与活力展开,模仿了骈文的对仗工整和华丽语言风格。诗中“春回大地舞”等句体现了春天的动态美,而“采菊东篱下,悠然见南山”则融入了陶渊明式的闲适生活感受,整体上力求在古典雅韵与现代意趣间找到平衡。
DeepSeek无疑是2025开年AI圈的一匹黑马,在一众AI大模型中,DeepSeek以低价高性能的优势脱颖而出。DeepSeek的上线实现了AI界的又一大突破,各大科技巨头都火速出手,争先抢占DeepSeek大模型的流量风口。
DeepSeek的爆火,远不止于此。它是一场属于每个人的科技革命,一次打破界限的机会,一次让普通人也能逆袭契机。
DeepSeek的优点
掌握DeepSeek对于转行大模型领域的人来说是一个很大的优势,目前懂得大模型技术方面的人才很稀缺,而DeepSeek就是一个突破口。现在越来越多的人才都想往大模型方向转行,对于想要转行创业,提升自我的人来说是一个不可多得的机会。
那么应该如何学习大模型
大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业?
”“谁的饭碗又将不保了?
”等问题热议不断。
不如成为「掌握AI工具的技术人」
,毕竟AI时代,谁先尝试,谁就能占得先机!
想正式转到一些新兴的 AI 行业,不仅需要系统的学习AI大模型。同时也要跟已有的技能结合,辅助编程提效,或上手实操应用,增加自己的职场竞争力。
大模型岗位需求越来越大,但是相关岗位人才难求,薪资持续走高,AI运营薪资平均值约18457元,AI工程师薪资平均值约37336元,大模型算法薪资平均值约39607元。
掌握大模型技术你还能拥有更多可能性:
• 成为一名全栈大模型工程师,包括Prompt,LangChain,LoRA等技术开发、运营、产品等方向全栈工程;
• 能够拥有模型二次训练和微调能力,带领大家完成智能对话、文生图等热门应用;
• 薪资上浮10%-20%,覆盖更多高薪岗位,这是一个高需求、高待遇的热门方向和领域;
• 更优质的项目可以为未来创新创业提供基石。
可能大家都想学习AI大模型技术,也想通过这项技能真正达到升职加薪,就业或是副业的目的,但是不知道该如何开始学习,因为网上的资料太多太杂乱了,如果不能系统的学习就相当于是白学。为了让大家少走弯路,少碰壁,这里我直接把都打包整理好,希望能够真正帮助到大家。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【
保证100%免费
】
👉AI大模型学习路线汇总👈
大模型学习路线图,整体分为7个大的阶段:(全套教程文末领取哈)
第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;
第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;
第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。
👉大模型实战案例👈
光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
👉大模型视频和PDF合集👈
观看零基础学习书籍和视频,看书籍和视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
更多推荐
所有评论(0)