
基于Ollama与AnythingLLM的DeepSeek-R1本地RAG应用实践
以上介绍了基于。
由深度求索
开源的 DeepSeek-R1
推理模型在推理性能上已能对标 OpenAI-o1
正式版本。值班场景需要处理大量告警工单,借助 DeepSeek-R1
实现智能告警处理:通过模型自动识别告警信息,并基于历史处置记录生成合理建议。
由于告警数据涉及核心业务机密,直接调用云端API存在安全隐患。同时考虑到告警类型动态增加,且同类告警可能存在多种处置方案,最终确定以下技术路线:
- 本地化部署模型:选择支持开源协议的Ollama框架,相较于闭源的LM Studio更符合数据管控要求;
- 动态知识库构建:采用
RAG(检索增强生成)
技术实现实时知识更新。
具体实施方案如下:
- 通过Ollama本地部署DeepSeek-R1推理模型;
- 使用AnythingLLM桌面版搭建RAG系统,其零代码特性大幅降低实现门槛;
- 建立历史
告警知识库
,支持增量更新处置方案。
未来计划通过容器化部署
提升系统稳定性。
一、基于Ollama的DeepSeek-R1本地部署实践
Ollama作为一款开源的大模型管理框架,为AI大模型的本地化部署提供了完整的解决方案。它主要解决了以下两个核心问题:
硬件配置与环境搭建: Ollama通过预置的优化配置,自动适配不同硬件环境,简化了CUDA、依赖库等环境配置的复杂度。
模型管理与服务部署: 提供统一的模型管理接口,支持一键式模型下载与部署,极大降低了使用门槛。
Ollama的官网地址是ollama.com
,不需要魔法就能访问,下载速度也是一流,进入官网点击Download就能完成下载与安装,如下图所示。
二、基于AnythingLLM的RAG实现
RAG(检索增强生成)
在成功通过Ollama
本地部署DeepSeek-R1
并开放11434
端口服务后,我们已经具备了构建RAG(Retrieval Augmented Generation,检索增强生成)系统的基础能力。在当今成熟的大模型生态下,借助现有框架快速实现业务需求已成为主流开发范式。本文将基于AnythingLLM框架实现RAG功能。
RAG(检索增强生成) 是一种结合检索和生成的技术,它在用户提问时,先从预先准备的数据库中搜索相关信息,并将检索到的内容注入到
Prompt
中,提供给大模型进行推理。这种方式相当于为大模型补充外部知识,使其在回答问题时能够参考更准确、相关的信息,从而提升回答的精准度和可靠性。
RAG 结合 提示词工程(Prompt Engineering) 的工作流程,整体架构如下:
-
训练数据 & 领域数据
-
- 训练数据用于 LLM(大模型) 的预训练和微调,使其具备基本的推理和生成能力;
- 领域数据被索引到 知识库,为后续的查询提供外部信息支持。
-
知识库 & 检索器
-
- 用户查询被送入 提示词工程,解析任务、查询和样本信息;
- 检索器 负责从 知识库 中搜索与查询相关的文档,获取辅助信息。
-
增强提示词 & 生成
-
- 搜索到的相关文档被注入到原始提示词中,形成一个更丰富、更完整的 Prompt;
- 经过增强的 Prompt 送入 LLM,结合检索到的信息进行推理和生成。
-
返回结果
-
- LLM 生成最终的回答,并返回给用户,实现更精准的问答效果。
以上就是对 RAG 概念的一个简单介绍。毋庸置疑,想要从零实现一个 RAG 框架,势必少不了一番折腾。幸运的是,如今已有现成的解决方案可供使用——接下来要介绍的 AnythingLLM。简而言之,AnythingLLM 是一款 All-In-One 的 AI 应用程序,支持在本地构建 AI 知识库,并打造属于自己的 智能 Agent,让 RAG 的实现变得更加轻松高效。
The all-in-one AI application. Any LLM, any document, any agent, fully private.
AnythingLLM支持的能力可以见Features,是绝对新手向友好的AI应用程序,强烈建议大家下载来体验一下。
https://docs.anythingllm.com/features/all-features
使用AnythingLLM构建RAG应用,只需要选定使用的大模型并上传知识库就行了,下面我们就一起来实现下。
下载并安装 AnythingLLM
请注意,建议选择 下载桌面版,相比于 Ollama,AnythingLLM 的下载速度会更慢。此外,在安装过程中,系统会自动安装 向量数据库 等必要组件,因此 下载和安装的时间通常以小时为单位,请耐心等待。
安装完成后,首次打开时会有一个引导界面,随意选择即可,后续可以在 设置 中随时重新调整配置。
配置大模型和向量数据库
打开进入AnythingLLM后,在界面左下角打开设置。
在【人工智能提供商-LLM首选项】中配置大模型为基于Ollama本地部署的DeepSeek-R1模型。
在【人工智能提供商-向量数据库】中将向量数据库配置为LanceDB。
创建 Workspace
点击【新工作区】创建一个Workspace。
Workspace是配置知识库的最小单元,支持独立配置大模型和向量数据库。若未进行单独配置,系统将默认使用全局设置,即【人工智能提供商-LLM首选项】和【人工智能提供商-向量数据库】中预设的大模型与向量数据库。由于全局配置已完成,此处无需对Workspace进行额外配置。
创建一个 Thread 开启聊天
开始聊天之前需要先创建一个Thread。
default是默认Thread。
还记得本文要解决的问题的 场景
是什么吗,就是我希望大模型帮助我分析告警信息
,假设我一条告警关键数据如下所示。
告警编码:APPLICATION-SECURITY-AUTHORIZATION-ERROR-098
告警描述:应用程序安全授权错误
集群:安全集群
发生时间:2025-02-09 11:30:00
那么此时我如果直接问大模型告警编码为APPLICATION-SECURITY-AUTHORIZATION-ERROR-098的告警,大模型肯定会开始自由发挥,例如我使用如下的Prompt。
你是一个精通告警分析和处理的运维专家,现在发生了告警,<告警编码>是APPLICATION-SECURITY-AUTHORIZATION-ERROR-098,请你结合运维经验,言简意赅的告诉我应该如何处理这条告警,你的返回数据应该遵循如下格式,其中<是否有效>的参数类型是布尔值。
{
"alarmCode": "<告警编码>",
"alarmMessage": "<告警描述>",
"handleSuggestion": "<处置建议>",
"effective": <是否有效>
}
大模型的回答如下。
可以明显观察到,即使是强大的DeepSeek-R1
模型,在处理组内告警这类高度私域化
的场景时,也会出现"一本正经地胡说八道"的现象。这是因为基座大模型的训练数据中不可能包含这类特定领域的信息
,导致其无法给出准确回答
。针对这种情况,通常有两种解决方案:模型微调(Fine-tuning)
或使用检索增强生成(RAG)
。在本方案中,我们选择了RAG技术路线
。
为 Workspace 添加知识库
在为Workspace添加知识库时,只需将在线文档的网页地址提供给AnythingLLM,系统会自动将对应地址的HTML文件向量化并存储到向量数据库中。
除了网页地址,知识库的添加还支持多种文件格式,包括txt文本、csv文件以及音频文件等。点击Workspace中的以下按钮即可打开添加页面:
添加页面如下所示。
可以上传文件,也可以指定网页地址,成功添加的内容会出现在My Documents栏目中,选中My Documents栏目中的内容,点击Move to Workspace可以将添加的内容加入到当前Workspace中。
我这里已经添加过了就不再添加了。
最后点击Save and Embed
即可将选中内容向量化。
我添加的 EXCEL
文件,如下表所示。
以下是基于提供的告警信息和告警示例。告警编码是随机生成的,告警描述和处置建议根据常见的运维场景进行搭配。
告警编码 | 告警描述 | 处置建议 | 是否有效 |
---|---|---|---|
NETWORK-LATENCY-001 | 网络延迟过高 | 检查网络设备状态,优化网络配置 | 有效 |
DISK-USAGE-002 | 磁盘使用率超过90% | 清理磁盘空间或扩展磁盘容量 | 有效 |
CPU-OVERLOAD-003 | CPU使用率持续超过80% | 检查高负载进程,优化资源分配 | 有效 |
此时再使用相同Prompt询问大模型,得到的答案明显靠谱多了。
随着告警信息的越来越丰富,以及我们可以不断调整Prompt做优化,大模型最后给出的告警处置建议会越来越准确。
总结
以上介绍了基于Ollama
和AnythingLLM
构建本地化AI应用的完整方案
:
-
模型部署
通过Ollama实现DeepSeek-R1的一键式本地部署,其开箱即用的特性支持多种主流大模型; -
RAG实现
借助AnythingLLM框架,仅需配置大模型和向量数据库即可快速搭建RAG系统; -
生态价值
-
- 降低AI应用开发门槛;
- 支持私有化部署;
- 提供可视化操作界面。
随着AI技术的普及,掌握AI工具的使用正在成为开发者的必备技能,其重要性不亚于传统中间件技术。本方案为小团队快速构建领域AI应用提供了可行路径,展现了AI技术落地的实际价值。
如何零基础入门 / 学习AI大模型?
大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业?
”“谁的饭碗又将不保了?
”等问题热议不断。
不如成为「掌握AI工具的技术人」
,毕竟AI时代,谁先尝试,谁就能占得先机!
想正式转到一些新兴的 AI 行业,不仅需要系统的学习AI大模型。同时也要跟已有的技能结合,辅助编程提效,或上手实操应用,增加自己的职场竞争力。
但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高
那么我作为一名热心肠的互联网老兵,我意识到有很多经验和知识值得分享给大家,希望可以帮助到更多学习大模型的人!至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
👉 福利来袭
CSDN大礼包:《2025最全AI大模型学习资源包》免费分享,安全可点 👈
全套AGI大模型学习大纲+路线
AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!
640套AI大模型报告合集
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
👉 福利来袭
CSDN大礼包:《2025最全AI大模型学习资源包》免费分享,安全可点 👈
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。
更多推荐
所有评论(0)