前面我们介绍了通过Chatbox调用大模型，通过提供角色设定让每个模型各司其职。然而大模型容易产生幻觉，导致答非所问，甚至完全背离用户的真实需求。

简单来说，是因为我们平时使用的GPT、千问、Deepseek是通用大模型，在一些详细的场景缺少相关的知识。

这次通过AnythingLLM，我们可以通过上传文件构建本地知识库，通过RAG增强获取知识的能力，缓解幻觉问题。

一、幻觉问题

大模型的幻觉问题指其生成内容看似合理却包含错误、虚构或矛盾信息的现象，严重影响可靠性和应用落地。原因包括数据缺陷、参数知识偏置、对齐不足、解码策略缺陷、多模态局限。

解决方法包括数据层面优化、模型训练改进、推理阶段干预、正则化技术等。通过外挂动态知识库（如RAG架构），实时检索权威信息约束生成。

二、RAG原理

传统大型语言模型（LLM）依赖训练数据中的知识，但存在知识时效性不足（无法覆盖最新信息）、专业领域覆盖有限以及生成内容不可靠（如幻觉问题）等缺陷。RAG通过动态检索外部知识库（如文档、数据库等），弥补了这些短板，使生成模型能够基于实时、专业的信息输出更可信的答案。

RAG的工作流程分为三阶段：

• 索引（Indexing） ：将外部知识（如文本、图像、音频等）编码为可检索的向量，构建索引数据库。

• 检索（Retrieval） ：根据用户提问，从索引中查找最相关的文档片段。

• 生成（Generation） ：将检索到的信息与原始问题结合，输入生成模型（如GPT类模型）生成最终回答。

这种架构具有几个优点和挑战：

1、优势：

• 动态数据支持：可整合最新或专有数据，无需重新训练模型。

• 减少幻觉：依赖检索结果生成，降低虚构风险。

• 透明度高：提供检索来源作为依据，增强用户信任。

• 多模态处理：支持文本、图像、音频等数据类型，扩展应用场景。

2、挑战：

• 检索质量依赖：若知识库覆盖不足或检索算法低效，生成效果会显著下降。

• 多跳推理困难：需综合多个子问题才能回答的复杂查询（如“A事件如何影响B政策？”）难以通过简单检索解决。

• 数据偏见与安全：外部知识库可能包含偏见或敏感信息，需严格审核。

• 系统复杂性：需协调检索模块与生成模型，优化延迟与资源消耗。、、

三、AnythingLLM

AnythingLLM的架构如下图所示，用户通过界面与系统交互，提出问题或上传文档。AnythingLLM系统负责协调文档解析、向量存储和模型调用。向量数据库支持快速检索相关知识片段。DeepSeek-R1模型结合用户问题和检索到的上下文生成最终回答。

四、实际操作

使用AnythingLLM+DeepSeek的步骤如下：

1、 SiliconFlow API获取

AnythingLLM需要输入API密钥进行配置。这里推荐大家使用SiliconFlow的API，原因嘛，自然是因为便宜，而且有羊毛可薅~

SiliconFlow是一个强大的平台，它能够让你轻松地调用各种AI模型，包括DeepSeek-R1和DeepSeek-V3。无论是AI小白还是高手，都可以通过SiliconFlow API快速上手，提升工作效率。

首先，你需要在SiliconFlow官网上注册一个账号。

注册完毕后，就可以获取你的API密钥。这个密钥是你调用API的“钥匙”，一定要妥善保管哦！

2、AnythingLLM下载

官方网站：https://anythingllm.com/

点击“Download for desktop”安装即可。

3、配置AnythingLLM

在LLM配置的界面，如图填写即可。

• Base URL：即API提供商的网站

• API Key：由API 提供商提供

• Chat Model Name：在API提供商网站上复制即可

• Token context window：模型单次处理时能容纳的输入与输出令牌总和的最大值。

• Max Tokens：用户通过API设置的参数，用于限制生成文本的令牌数量。

4、上传本地文件

点击上传按钮，进入上传文件的界面。

1. 上传文件

2. 选择需要加入工作区的文件

3. 将文件加入工作区

5、对话即可

一切配置完毕，只需要像平常一样与模型进行对话即可。

我的DeepSeek部署资料已打包好（自取↓）
https://pan.quark.cn/s/7e0fa45596e4

但如果你想知道这个工具为什么能“听懂人话”、写出代码 甚至预测市场趋势——答案就藏在大模型技术里！

❗️为什么你必须了解大模型？

1️⃣ 薪资爆炸：应届大模型工程师年薪40万起步，懂“Prompt调教”的带货主播收入翻3倍

2️⃣ 行业重构：金融、医疗、教育正在被AI重塑，不用大模型的公司3年内必淘汰

3️⃣ 零门槛上车：90%的进阶技巧不需写代码！会说话就能指挥AI

（附深度求索BOSS招聘信息）

⚠️警惕：当同事用DeepSeek 3小时干完你3天的工作时，淘汰倒计时就开始了。

那么，如何系统的去学习大模型LLM？

作为一名从业五年的资深大模型算法工程师，我经常会收到一些评论和私信，我是小白，学习大模型该从哪里入手呢？老师啊，我自学没有方向怎么办？老师，这个地方我不会啊。如果你也有类似的经历，一定要继续看下去！当然这些问题啊，也不是三言两语啊就能讲明白的。

所以我综合了大模型的所有知识点，给大家带来一套全网最全最细的大模型零基础教程。在做这套教程之前呢，我就曾放空大脑，以一个大模型小白的角度去重新解析它，采用基础知识和实战项目相结合的教学方式，历时3个月，终于完成了这样的课程，让你真正体会到什么是每一秒都在疯狂输出知识点。

篇幅有限，⚡️ 朋友们如果有需要全套 《2025全新制作的大模型全套资料》，扫码获取~

👉大模型学习指南+路线汇总👈

我们这套资料呢，会从基础篇、进阶篇和项目实战篇等三大方面来讲解。

👉①.基础篇👈

基础篇里面包括了Python快速入门、AI开发环境搭建及提示词工程，带你学习大模型核心原理、prompt使用技巧、Transformer架构和预训练、SFT、RLHF等一些基础概念，用最易懂的方式带你入门大模型。

👉②.进阶篇👈

接下来是进阶篇，你将掌握RAG、Agent、Langchain、大模型微调和私有化部署，学习如何构建外挂知识库并和自己的企业相结合，学习如何使用langchain框架提高开发效率和代码质量、学习如何选择合适的基座模型并进行数据集的收集预处理以及具体的模型微调等等。

👉③.实战篇👈

实战篇会手把手带着大家练习企业级的落地项目（已脱敏），比如RAG医疗问答系统、Agent智能电商客服系统、数字人项目实战、教育行业智能助教等等，从而帮助大家更好的应对大模型时代的挑战。

👉④.福利篇👈

最后呢，会给大家一个小福利，课程视频中的所有素材，有搭建AI开发环境资料包，还有学习计划表，几十上百G素材、电子书和课件等等，只要你能想到的素材，我这里几乎都有。我已经全部上传到CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

相信我，这套大模型系统教程将会是全网最齐全 最易懂的小白专用课！！