深度求索开源的 DeepSeek-R1 推理模型在推理性能上已能对标 OpenAI-o1 正式版本。值班场景需要处理大量告警工单,借助 DeepSeek-R1 实现智能告警处理:通过模型自动识别告警信息,并基于历史处置记录生成合理建议。

由于告警数据涉及核心业务机密,直接调用云端API存在安全隐患。同时考虑到告警类型动态增加,且同类告警可能存在多种处置方案,最终确定以下技术路线:

  1. 本地化部署模型:选择支持开源协议的Ollama框架,相较于闭源的LM Studio更符合数据管控要求;
  2. 动态知识库构建:采用RAG(检索增强生成)技术实现实时知识更新。

具体实施方案如下:

  • 通过Ollama本地部署DeepSeek-R1推理模型;
  • 使用AnythingLLM桌面版搭建RAG系统,其零代码特性大幅降低实现门槛;
  • 建立历史告警知识库,支持增量更新处置方案。

未来计划通过容器化部署提升系统稳定性。

img

一、基于Ollama的DeepSeek-R1本地部署实践

Ollama作为一款开源的大模型管理框架,为AI大模型的本地化部署提供了完整的解决方案。它主要解决了以下两个核心问题:

硬件配置与环境搭建: Ollama通过预置的优化配置,自动适配不同硬件环境,简化了CUDA、依赖库等环境配置的复杂度。

模型管理与服务部署: 提供统一的模型管理接口,支持一键式模型下载与部署,极大降低了使用门槛。

img

Ollama的官网地址是ollama.com,不需要魔法就能访问,下载速度也是一流,进入官网点击Download就能完成下载与安装,如下图所示。

img

二、基于AnythingLLM的RAG实现

RAG(检索增强生成)

在成功通过Ollama本地部署DeepSeek-R1并开放11434端口服务后,我们已经具备了构建RAG(Retrieval Augmented Generation,检索增强生成)系统的基础能力。在当今成熟的大模型生态下,借助现有框架快速实现业务需求已成为主流开发范式。本文将基于AnythingLLM框架实现RAG功能。

RAG(检索增强生成) 是一种结合检索和生成的技术,它在用户提问时,先从预先准备的数据库中搜索相关信息,并将检索到的内容注入到Prompt中,提供给大模型进行推理。这种方式相当于为大模型补充外部知识,使其在回答问题时能够参考更准确、相关的信息,从而提升回答的精准度和可靠性。

img

RAG 结合 提示词工程(Prompt Engineering) 的工作流程,整体架构如下:

  1. 训练数据 & 领域数据

    • 训练数据用于 LLM(大模型) 的预训练和微调,使其具备基本的推理和生成能力;
    • 领域数据被索引到 知识库,为后续的查询提供外部信息支持。
  2. 知识库 & 检索器

    • 用户查询被送入 提示词工程,解析任务、查询和样本信息;
    • 检索器 负责从 知识库 中搜索与查询相关的文档,获取辅助信息。
  3. 增强提示词 & 生成

    • 搜索到的相关文档被注入到原始提示词中,形成一个更丰富、更完整的 Prompt;
    • 经过增强的 Prompt 送入 LLM,结合检索到的信息进行推理和生成。
  4. 返回结果

    • LLM 生成最终的回答,并返回给用户,实现更精准的问答效果。

以上就是对 RAG 概念的一个简单介绍。毋庸置疑,想要从零实现一个 RAG 框架,势必少不了一番折腾。幸运的是,如今已有现成的解决方案可供使用——接下来要介绍的 AnythingLLM。简而言之,AnythingLLM 是一款 All-In-One 的 AI 应用程序,支持在本地构建 AI 知识库,并打造属于自己的 智能 Agent,让 RAG 的实现变得更加轻松高效。

The all-in-one AI application. Any LLM, any document, any agent, fully private.

AnythingLLM支持的能力可以见Features,是绝对新手向友好的AI应用程序,强烈建议大家下载来体验一下。

https://docs.anythingllm.com/features/all-features

使用AnythingLLM构建RAG应用,只需要选定使用的大模型并上传知识库就行了,下面我们就一起来实现下。

下载并安装 AnythingLLM

img

请注意,建议选择 下载桌面版,相比于 OllamaAnythingLLM 的下载速度会更慢。此外,在安装过程中,系统会自动安装 向量数据库 等必要组件,因此 下载和安装的时间通常以小时为单位,请耐心等待。

安装完成后,首次打开时会有一个引导界面,随意选择即可,后续可以在 设置 中随时重新调整配置。

配置大模型和向量数据库

打开进入AnythingLLM后,在界面左下角打开设置。

img

在【人工智能提供商-LLM首选项】中配置大模型为基于Ollama本地部署的DeepSeek-R1模型。

img

在【人工智能提供商-向量数据库】中将向量数据库配置为LanceDB。

img

创建 Workspace

点击【新工作区】创建一个Workspace。

imgWorkspace是配置知识库的最小单元,支持独立配置大模型和向量数据库。若未进行单独配置,系统将默认使用全局设置,即【人工智能提供商-LLM首选项】和【人工智能提供商-向量数据库】中预设的大模型与向量数据库。由于全局配置已完成,此处无需对Workspace进行额外配置。

创建一个 Thread 开启聊天

开始聊天之前需要先创建一个Thread。

img

default是默认Thread。

还记得本文要解决的问题的 场景 是什么吗,就是我希望大模型帮助我分析告警信息,假设我一条告警关键数据如下所示。

告警编码:APPLICATION-SECURITY-AUTHORIZATION-ERROR-098
告警描述:应用程序安全授权错误
集群:安全集群
发生时间:2025-02-09 11:30:00

那么此时我如果直接问大模型告警编码为APPLICATION-SECURITY-AUTHORIZATION-ERROR-098的告警,大模型肯定会开始自由发挥,例如我使用如下的Prompt。

你是一个精通告警分析和处理的运维专家,现在发生了告警,<告警编码>是APPLICATION-SECURITY-AUTHORIZATION-ERROR-098,请你结合运维经验,言简意赅的告诉我应该如何处理这条告警,你的返回数据应该遵循如下格式,其中<是否有效>的参数类型是布尔值。
{
    "alarmCode": "<告警编码>",
    "alarmMessage": "<告警描述>",
    "handleSuggestion": "<处置建议>",
    "effective": <是否有效>
}

大模型的回答如下。

img

可以明显观察到,即使是强大的DeepSeek-R1模型,在处理组内告警这类高度私域化的场景时,也会出现"一本正经地胡说八道"的现象。这是因为基座大模型的训练数据中不可能包含这类特定领域的信息导致其无法给出准确回答。针对这种情况,通常有两种解决方案:模型微调(Fine-tuning)或使用检索增强生成(RAG)。在本方案中,我们选择了RAG技术路线

为 Workspace 添加知识库

在为Workspace添加知识库时,只需将在线文档的网页地址提供给AnythingLLM,系统会自动将对应地址的HTML文件向量化并存储到向量数据库中。

除了网页地址,知识库的添加还支持多种文件格式,包括txt文本、csv文件以及音频文件等。点击Workspace中的以下按钮即可打开添加页面:

img

添加页面如下所示。

img

可以上传文件,也可以指定网页地址,成功添加的内容会出现在My Documents栏目中,选中My Documents栏目中的内容,点击Move to Workspace可以将添加的内容加入到当前Workspace中。

我这里已经添加过了就不再添加了。

最后点击Save and Embed即可将选中内容向量化。

我添加的 EXCEL 文件,如下表所示。

以下是基于提供的告警信息和告警示例。告警编码是随机生成的,告警描述和处置建议根据常见的运维场景进行搭配。

告警编码 告警描述 处置建议 是否有效
NETWORK-LATENCY-001 网络延迟过高 检查网络设备状态,优化网络配置 有效
DISK-USAGE-002 磁盘使用率超过90% 清理磁盘空间或扩展磁盘容量 有效
CPU-OVERLOAD-003 CPU使用率持续超过80% 检查高负载进程,优化资源分配 有效

此时再使用相同Prompt询问大模型,得到的答案明显靠谱多了。

img

随着告警信息的越来越丰富,以及我们可以不断调整Prompt做优化,大模型最后给出的告警处置建议会越来越准确。

总结

以上介绍了基于OllamaAnythingLLM构建本地化AI应用的完整方案

  1. 模型部署
    通过Ollama实现DeepSeek-R1的一键式本地部署,其开箱即用的特性支持多种主流大模型;

  2. RAG实现
    借助AnythingLLM框架,仅需配置大模型和向量数据库即可快速搭建RAG系统;

  3. 生态价值

    • 降低AI应用开发门槛;
    • 支持私有化部署;
    • 提供可视化操作界面。

随着AI技术的普及,掌握AI工具的使用正在成为开发者的必备技能其重要性不亚于传统中间件技术。本方案为小团队快速构建领域AI应用提供了可行路径,展现了AI技术落地的实际价值

如何零基础入门 / 学习AI大模型?

大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业?”“谁的饭碗又将不保了?”等问题热议不断。

不如成为「掌握AI工具的技术人」,毕竟AI时代,谁先尝试,谁就能占得先机!

想正式转到一些新兴的 AI 行业,不仅需要系统的学习AI大模型。同时也要跟已有的技能结合,辅助编程提效,或上手实操应用,增加自己的职场竞争力。

但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高

那么我作为一名热心肠的互联网老兵,我意识到有很多经验和知识值得分享给大家,希望可以帮助到更多学习大模型的人!至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

👉 福利来袭CSDN大礼包:《2025最全AI大模型学习资源包》免费分享,安全可点 👈

全套AGI大模型学习大纲+路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

read-normal-img

640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

👉学会后的收获:👈
基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。

👉 福利来袭CSDN大礼包:《2025最全AI大模型学习资源包》免费分享,安全可点 👈

img

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐