
LangChat实战DeepSeek-R1模型
本教程给使用LangChat的朋友学习如何本地部署DeepSeek-R1模型。以及如何使用LangChat的Agent功能构建知识库。
LangChat如何接入DeepSeek-R1模型
本教程给使用LangChat的朋友学习如何本地部署DeepSeek-R1模型。以及如何使用LangChat的Agent功能构建知识库。
关于LangChat
LangChat 是Java生态下企业级AIGC项目解决方案,集成RBAC和AIGC大模型能力,帮助企业快速定制AI知识库、企业AI机器人。
支持的AI大模型: Gitee AI / 阿里通义 / 百度千帆 / DeepSeek / 抖音豆包 / 智谱清言 / 零一万物 / 讯飞星火 / OpenAI / Gemini / Ollama / Azure / Claude 等大模型。
- 官网地址:http://langchat.cn/
开源地址:
-
Gitee:https://gitee.com/langchat/langchat
-
Github:https://github.com/tycoding/langchat
安装DeepSeek-R1
DeepSeek-R1是由DeepSeek公司推出的开源大模型,目前最强的低成本推理模型。
注意: 这里仅介绍使用Ollama部署DeepSeek-R1模型,其他模型的部署方式可以参考官方文档。
基础概念
首先,必须给大家介绍一些基础的概念,避免大家有各种疑惑。
-
Ollama是安装模型最简单的方式,不需要python、Docker以及其他复杂的过程。
-
无论本地安装DeepSeek-R1的哪个模型,其实区别都不大,因为都是阉割版的,所以大家不要被营销号带偏。
-
Ollama的
run
命令执行后,首先会检查本地有没有此模型,有就安装,没有就直接运行模型。(Ollama客户端兼容全平台,不是非要Linux服务器) -
Ollama的
run
启动模型后会暴露 11434 HTTP端口,其他所有的LLM OPS应用都是通过此端口和模型交互的,你可以访问 http://127.0.0.1:11434 查看 -
DeepSeek-R1是推理模型,Embedding模型需要单独安装,这两者不是一个概念,如果需要知识库向量化,不应该用DeepSeek-R1
-
…
DeepSeek-R1下载哪个版本?
实际上,本地测试而言,无论你下载哪个版本,最终的效果都是一样的。因为都是阉割版的小参数模型,所以我推荐各位安装 1.5B 或者 7/8B 测试即可。真实的场景下,还是推荐调用API。
Ollama地址:https://ollama.com/library/deepseek-r1
注意:
运行 ollama run deepseek-r1
命令默认安装的 7B 版本。
-
1.5B 模型,基本上任意笔记本都能安装
-
7/8B 模型,至少本地电脑有16G内存
-
14B以上模型,至少本地电脑有32G内存
作者本地电脑是 Macbook m3 16GB + 512版本
1. 安装Ollama
Ollama官网地址 https://ollama.com/
这里会根据你的操作系统下载对应的安装包
安装Ollama的步骤这里就不再解释了
2. 安装DeepSeek-R1
如果你本地电脑是 >=16G内存,就用默认的安装命令,否则建议安装1.5B小模型
因为作者是16G笔记本,所以这里直接按照默认的下载7B模型
正常情况下,如上图所示,本地电脑就已经安装好了DeepSeek-R1模型。
3. 验证DeepSeek-R1模型是否启动
如上,你可以在控制台直接交互。
另外本地访问 http://127.0.0.1:11434 地址,能看到如下信息:
启动LangChat
注意:LangChat至少需要以下环境:
MySQL8
JDK17+
PgVector等
开源地址:
-
Gitee:https://gitee.com/langchat/langchat
-
Github:https://github.com/tycoding/langchat
-
GitCode: https://gitcode.com/LangChat/LangChat
首先本地IDEA打开LangChat项目(等待Maven加载完成)
1. 执行数据库脚本
在docs/目录下找到langchat.sql
在MySQL中执行此脚本。
注意: 此脚本包含了创建名为langchat
的数据库(因此不需要手动创建数据库)
2. 修改配置文件
首先你应该检查SpringBoot的application-*.yml
配置文件
必须修改:
-
MySQL连接信息
-
OSS信息(默认的
local
代表了使用tomcat的地址,当然建议使用阿里云或七牛云,或者本地用NGINX搭建本地文件服务器)
3. 安装PgVector
这里我只推荐Pgvector,不要用Redis,Pgvector可以用navicat等工具可视化查看数据表
Pgvector官方仓库:https://github.com/pgvector/pgvector?tab=readme-ov-file#installation-notes—windows
Postgres官网:https://postgresapp.com/downloads.html
注意:安装Pgvector后仍需要有Postgres 15+基础环境。所以如果你是第一次安装,你需要安装两者才行。
因为我使用的Mac,所以有多种安装方式,如果不想麻烦可以用Docker
作者贴心的给大家编译了一个pgvector发布到了阿里云仓库,直接运行此compose也可启动,省去了上麦那一系列步骤
如果上面脚本执行成功,应该在数据库能看到langchat
注意:
-
如果是自己手动安装的Pgvector,请手动创建
langchat
数据库 -
尽量不要自己手动编译pgvector源码,太麻烦了
4. 运行LangChat
上述配置完毕后,即可正常启动LangChat
启动成功后如上图,注意 当前环境是什么就代表用了哪个配置文件
运行langchat-ui
测试LangChat
首先进入到LangChat此页面
因为我们使用的Ollama部署的DeepSeek-R1模型,因此必须使用Ollama配置
-
模型版本写:
deepseek-r1
-
BaseUlr写:
http://127.0.0.1:11434/
-
ApiKey任意填
测试LangChat聊天功能
到此为止,DeepSeek-R1模型已经启动并配置好,我们先测试Chat基础功能
如上,接口已经掉通了。
注意: <think>
是DeekSeek-R1的推理过程,因为他是非标准的数据格式,后面LangChat会做前端适配
配置LangChat知识库
首先你需要安装好Pgvector和OSS
1. 配置向量数据库
注意!注意!注意!
建议不要修改向量维度这个参数,向量数据表一旦初始化,此表的向量维度就固定了,只能接受指定向量的数据,因此仅在LangChat前端修改是无效的(需要删除原表)
2. 本地下载Embedding模型
当然我建议大家直接使用阿里云、百度、智谱的Embedding模型,这样只需要配置ApiKey即可,但是很多朋友可能还想想本地部署,这里教大家。
同样,使用Ollama下载Embedding模型
进入官网:https://ollama.com/search?c=embedding 我们找到排名第一的Embedding模型
执行命令 ollama pull nomic-embed-text
如上结果,Ollama模型很小,很快运行结束,但是不要尝试执行ollama run xxx
,因为run
命令是针对Chat模型的,这里是Embedding模型
Ollama Pull 了Embedding模型就自动启用了,不需要任何其他命令加载
我们可以通过ollama list
查看到下载的模型
3. 测试Embedding模型
执行如下脚本
curl http://localhost:11434/api/embeddings -d '{
"model": "nomic-embed-text",
"prompt": "The sky is blue because of Rayleigh scattering"
}'
如上说明Embedding模型正在运行,并且模型名称是nomic-embed-text
,访问地址是:http://localhost:11434/api/embeddings
4. LangChat配置Embedding
-
模型版本填
nomic-embed-text
(Select中输入并回车即可) -
BaseUrl填写:
http://localhost:11434/
5. 创建LangChat知识库
知识库中只关联Embedding数据库和Embedding模型
6. 导入知识库文档
在上面配置好nomic-embed-text
模型后,往知识库导入文档
如果你是按照上面步骤的Embedding模型,你应该会收到如下向量化失败错误:
为什么报错ERROR: expected 1024
因为我们在LangChat配置的 1024向量纬度 的数据库,所以生成的表也只接收1024维度的数据。
但是, nomic-embed-text
模型只能生成768维度的数据,并不是生成1024维度的数据(当然如果你使用公有云模型,他们的模型一般都能支持生成多维度的数据768、1024、1536等等)
只不过我们下载的模型只支持生成单维度的向量数据。
从上表中你可以查看到不同模型能生成什么维度的数据。
例如阿里云的文档中,关于Embedding模型的定义如下:(你在最初阶段就应该考虑哪种模型兼容哪种向量维度)
遇到这种情况怎么处理?
无论用的哪个模型,如果向量维度一旦不匹配,就必然会出现类似此报错信息。按照如下步骤开始解决此问题:(我们的前提是仍用本地的Embedding模型,当然你换一个能输出1024维度的Embedding模型也是可以的)
- 使用如Navicat等客户端工具删除
langchat
库中的表
- 在LangChat管理端修改 向量数据库的纬度配置 ,如下修改为768维度
- 重启LangChat后端项目,系统会重新生成此表,并接收768维度的向量
正常情况,重启后,我们就可以重新导入文档进行向量化了。
7. 重新导入知识库文档
我们准备如下这个txt文档
正常情况,后端会提示向量化成功,会有如下日志:
在向量数据库中,能看到如下分段信息:
8. 向量搜索测试
正常情况,如果向量化成功,你能在LangChat页面看到如下切面信息:
那我们进行一下向量检索测试:
到此为止,LangChat知识库配置已经结束
创建LangChat AI应用
上面知识库配置成功后,下面开始创建LangChat AI应用
如下所示创建AI应用,这里进需要关联我们刚才设置的DeepSeek-R1模型
配置LangChat应用
创建LangChat应用后,关联刚才创建的知识库,即可进行知识库问答了
关联好我们创建的知识库后,直接测试就能引用知识库的内容了
测试LangChat应用
如上,说明了他刚才引用了我们上传的langchat.txt
文档
验证是否查询向量文本?
验证此回答是否查询了知识库的向量信息?
- 我们可以在控制台看到如下打印日志:
后面的部分就是引用的知识库文档
- 可以拿未配置知识库的普通聊天做测试
可以看到未配置知识库,是不知道LangChat是什么的。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
更多推荐
所有评论(0)