1、RAG：大模型触手

RAG（Retrieval-Augmented Generation，检索增强生成） 是一种结合信息检索与生成模型的技术。其核心思想是：在生成答案前，先从外部知识库（如文档、数据库、互联网）中检索相关证据，再基于检索结果和用户输入生成更准确、可靠的回答。如下图所示为一个最简RAG示意图。

（注：图源网络）

从形态上说，LLM充当大脑角色用于生成答案，检索充当触手角色用于收集证据。RAG就是一个带触手（外挂知识库）的大模型系统。

1.1 为什么需要RAG

大模型在很多领域表现出色，但依然存在局限性，这些局限性使得RAG成为大模型的重要补充。

模型能力： 大模型训练完成后模型的能力就固定了。比如：我们问ChatGPT东方甄选小作文的事情，ChatGPT表示不知道。原因是：GPT-4训练数据知识收集截止到2023年10月份。RAG通过外挂实时知识库，可以有效改善这类问题。

ChatGPT时效性

数据隐私： 大模型很难覆盖隐私数据和私域数据，本地部署RAG系统，也可以改善此类问题。

可解析性： RAG检索结果提供事实依据，减少猜测性回答。同时生成答案可标注来源文档，增强可信度。

成本优化： 长上下文模型，处理全文输入成本高，RAG检索关键片段压缩输入长度，使得RAG在处理长文本时更加效。

LLM与RAG差异

RAG不仅解决大模型的局限性，也带来更高的生成质量和成本优化，RAG可以根据不同领域的需求，定制化地提供专业答案。

1.2 RAG存在挑战

尽管RAG带来了许多优势，但在实际应用中面临一些挑战，特别是在RAG构建过程中。RAG构建包含4个主要步骤：文档转为数据、数据分块、数据向量化、向量存储。

1.2.1 文本向量化难点

文档以文字为主，也包含图片、表格、公式等信息。文档中存在成千上百万的文字信息，大量数据后如何对数据分块（涉及权衡文本颗粒度、上下文的完整性）选择适合的文本颗粒度（数据分块）能够平衡检索的精准和召回。

RAG构建过程中存在的挑战

1.2.2 多模态文档难点

多模态文档中图片、图表等结构化多模态内容处理方式更加复杂。如何将不同模态的数据（文本，图像、视频）融合在一起，提高理解的准确性是挑战。

多模态文档结构复杂（注：图源网络）

目前针对复杂文档结构处理链路包含四个阶段：文档解析器（ocr识别及坐标、图片识别及坐标、工具解析器等）、文档结构化（为数据建立索引顺序）、文档理解（数据整理为可序列化的结构）。整体看文档的解析链路长，步骤多，内容不好校核。

复杂文档常规解析链路（注：图源网络）

1.2.2 可控检索难点

检索错误是RAG应用中的一个常见问题，比如：噪声数据、数据分块（上下文错误处理）、特性向量化过程（BGE能力不足）等等。召回率与精准率是一个对立矛盾体。因此需要对RAG系统做可控处理。

RAG可控处理一种思路

1.3 RAG发展

因多模态数据处理与向量化检索的技术瓶颈，RAG系统的稳定性常受制约，因此推动多模态文档的统一化处理范式与新一代检索架构，成为突破RAG能力边界的两大关键路径。

1.3.1 多模态文档处理

在视觉问答（VAQ）任务中，多模态文档的解析需融合文本与布局理解能力。例如，当解析“两个品牌在分辨率参数上的差异”时，模型不仅需识别图像中的文字内容，还需解析文本间的排版逻辑与表格结构信息。若要在回答时提升准确性，需确保模型在处理文本时保留其原始结构特征。

多模态模型提取文字及视觉问答

多模态处理文档不仅可以将不同模态的数据（文本、图像、表格）映射到同一个语义空间，进而提高数据的可用性和检索效率，也有利于模型对于文档的理解。

1.3.2 基于记忆驱动RAG

RAG的另一个发展方向是记忆驱动RAG。与传统的基于向量的RAG相比，记忆驱动RAG利用LLM的KV缓存作为动态索引，具备更高的灵活性和适应性。如图所示Standard RAG与Meno RAG在原理及使用方式存在明显区别。

向量RAG与Meno RAG的差异

使用场景：若需求为静态知识快速检索（如客服标准问答），优先选择向量RAG；BGE（智源通用嵌入模型）、Jina Embeddings（长文本优化）。若需求为动态交互与终身学习（如个性化医疗助手），探索记忆驱动RAG Memo RAG（智源研究院）：KV缓存压缩 + 动态记忆索引。

2、Agent：大模型集成体

Agent技术是大模型的重要集成体，能够实现自主执行任务、做出决策和与环境互动。如图所示，海绵宝宝的形象展示一个大模型如何一步步进化为一个超强的智能体。

（注：图源网络）

2.1 Agent概要

AI agent是指使用 AI 技术设计和编程的一种计算机程序，其可以独立地进行某些任务并对环境做出反应。AI代理可以被视为一个智能体，它能够感知其环境，自己决策和行动来改变环境。如图所示是一个最简Agent系统图。

Agent系统图

Agent通过结合LLM、规划、反馈和工具，形成一个完整的智能系统。Agent包含感知层、决策层、执行层，最终形成具有自主性、反应性、主动性和社会性。

2.2 Agent实践

已有不少Agent开源项目，通过项目实践可加深对Agent理解。Agent实践分为两种类型：自主智能体和生成智能体。

2.2.1 自主智能与生成智能

自主智能体：自主执行任务、做出决策和与环境互动的智能系统。生成智能体：利用生成模型来创造新的数据或内容的智能系统。如图所示，Auto-GPT（自主智能）自问自答，斯坦福小镇虚拟世界（生成智能）。

自主智能体与生成智能体的区别：

2.2.2 Agent核心框架

成熟的Agent框架可降低开发成本，MetaGPT和AutoGen是当前最流行的两个框架。MetaGPT通过为GPT模型分配不同角色来模拟协作的软件公司结构，以处理复杂任务；AutoGen作为开源框架，专注于通过多智能体对话和增强的LLM推理开发大型语言模型应用。

MetaGPT与AutoGen对比

MetaGPT和AutoGen各有特点，MetaGPT：软件公司的“数字CTO”；AutoGen：定制化AI的“乐高工厂。MetaGPT更适合需要全面自动化和协作的软件开发任务，而AutoGen更适合需要灵活定制和对话的LLM应用开发。

2.2.3 Multi-Agent系统

现实世界任务往往过于复杂，单Agent难以胜任，需要多个Agent协作。以漫画图所示，从一个需求到最终交付的产品。首先：计划、需求分析、框架设计、系统方案、编码实现、功能性测试，最后是产品交付。如此复杂的系统需要多人合作，Multi-Agent系统在处理复杂任务方面具有显著优势。

单智能体与多智能体，无论在任务类型与核心技术都存在明显差别。

单智能体与多智能体对比

1. 任务解构能力：通过分布式子任务分工协作，Multi-Agent系统能够分解任务，提高了任务处理的效率。
2. 效能突破边界：通过并行架构和冗余容错设计，Multi-Agent系统能够显著提高计算效率和系统鲁棒性。
3. 动态环境适应：通过实时交互网络，Multi-Agent系统能够快速适应动态环境，更好地应对复杂变化环境。

2.3 Agent应用

尽管Agent技术在多个领域展示了其强大的应用价值，但我们也面临一些挑战。

2.3.1 应用难点

如图所示显示各方面的挑战，如：技术能力、系统设计、安全性及经济效益。

应对上述问题存在的方案：

1. 复杂任务规划，通过分层的方式逐步解决复杂任务。
2. 动态环境适应：元学习（Meta-Learning）+ 世界模型可以提高Agent在动态环境中的适应能力。
3. 多智能体协作：通过博弈论和联邦学习，多智能体系统实现高效的协作。
4. 可解释性提升：因果推理模型 + 决策树蒸馏可以提高Agent的可解释性，Agent的决策过程更加透明。
5. 价值观对齐：基于人类反馈的强化学习（RLHF）可以解决Agent的价值观对齐问题。

2.3.2 行业应用

Agent技术在多个领域展示了其强大的应用价值。

Agent行业应用效果

Agent的落地应用始终面临真实世界的复杂性挑战。要处理工业质检中的视觉缺陷检测、金融报告中的图表解析等任务，必须突破单模态限制——这正是多模态大模型的技术使命。

那么，如何系统的去学习大模型LLM？

作为一名从业五年的资深大模型算法工程师，我经常会收到一些评论和私信，我是小白，学习大模型该从哪里入手呢？我自学没有方向怎么办？这个地方我不会啊。如果你也有类似的经历，一定要继续看下去！这些问题啊，也不是三言两语啊就能讲明白的。

所以我综合了大模型的所有知识点，给大家带来一套全网最全最细的大模型零基础教程。在做这套教程之前呢，我就曾放空大脑，以一个大模型小白的角度去重新解析它，采用基础知识和实战项目相结合的教学方式，历时3个月，终于完成了这样的课程，让你真正体会到什么是每一秒都在疯狂输出知识点。

由于篇幅有限，⚡️ 朋友们如果有需要全套 《2025全新制作的大模型全套资料》，扫码获取~

👉大模型学习指南+路线汇总👈

我们这套大模型资料呢，会从基础篇、进阶篇和项目实战篇等三大方面来讲解。

👉①.基础篇👈

基础篇里面包括了Python快速入门、AI开发环境搭建及提示词工程，带你学习大模型核心原理、prompt使用技巧、Transformer架构和预训练、SFT、RLHF等一些基础概念，用最易懂的方式带你入门大模型。

👉②.进阶篇👈

接下来是进阶篇，你将掌握RAG、Agent、Langchain、大模型微调和私有化部署，学习如何构建外挂知识库并和自己的企业相结合，学习如何使用langchain框架提高开发效率和代码质量、学习如何选择合适的基座模型并进行数据集的收集预处理以及具体的模型微调等等。

👉③.实战篇👈

实战篇会手把手带着大家练习企业级的落地项目（已脱敏），比如RAG医疗问答系统、Agent智能电商客服系统、数字人项目实战、教育行业智能助教等等，从而帮助大家更好的应对大模型时代的挑战。

👉④.福利篇👈

最后呢，会给大家一个小福利，课程视频中的所有素材，有搭建AI开发环境资料包，还有学习计划表，几十上百G素材、电子书和课件等等，只要你能想到的素材，我这里几乎都有。我已经全部上传到CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

相信我，这套大模型系统教程将会是全网最齐全 最易懂的小白专用课！！