传统的检索增强生成(RAG)系统在生成具备上下文感知的答案方面表现出色。然而,它们往往存在以下不足:

  • 精确性不足:单次推理可能会忽略复杂查询中的细微差别。
  • 理解不够深入:若没有迭代过程,输出结果可能无法全面解决多方面的问题。

RAG简介

检索增强思考(RAT)通过引入模仿人类思维过程的推理循环,弥补了这些差距。这使得它在以下应用场景中具有极高价值:

  • 复杂问题解答
  • 特定领域的AI助手
  • 研究密集型工作流程img

RAT详解

如下图所示,RAT的工作步骤如下:

  1. 用户输入:与RAG一样,用户提出问题。例如:“我如何提高我的生产力?”
  2. 知识检索:系统从知识库(如文档、文章)中检索与问题相关的信息片段。例如:检索到的内容可能包括关于时间管理、生产力技巧的文章,或者像任务优先级排序这样的工具介绍。

img

  1. 推理循环(迭代优化)
  • 迭代2:“将任务分解成更小的部分,并根据紧急程度和重要性对它们进行优先级排序”。

  • 迭代3:“实施时间块管理,并消除干扰以进行深度工作”。

  • 初始思考:推理大语言模型(LLM)基于检索到的信息片段和用户问题开始工作,生成初始思考或推理内容。例如:“专注于有效进行任务优先级排序”。

  • 迭代:系统将这个思考结果反馈回检索和推理过程中。每次迭代都会优化检索到的上下文,并生成更细致入微的推理。

  1. 最终思考:在完成指定的迭代次数后(或者当推理趋于稳定时停止),系统会产生一个最终思考结果,这是对问题经过深入思考后得出的详细理解。最终思考:“要提高生产力,可以使用艾森豪威尔矩阵对任务进行优先级排序,将它们分解成更小的部分,并利用时间块管理来专注工作”。

  2. 增强生成:经过优化的推理(最终思考结果)会被传递给负责生成答案的LLM。这个LLM将推理结果与原始问题相结合,生成最终便于用户理解的答案。最终答案:“要提高你的生产力,可以先使用艾森豪威尔矩阵对任务进行优先级排序。将它们分解成易于管理的步骤,并利用时间块管理来保持专注”。

为何使用RAGLight来实现RAT?

RAGLight是一个功能多样的框架,它通过为检索、推理和生成工作流程提供模块化组件,简化了RAG和RAT管道的实现过程。凭借预构建的集成功能和可扩展的设计,你可以专注于提升AI的能力,而无需从头开始开发。

以下是如何使用RAGLight设置RAT和RAG管道,以及关键参数和定制选项的详细解释。

设置RAT管道

from raglight.rat.simple_rat_api import RATPipeline
from raglight.models.data_source_model import FolderSource, GitHubSource
from raglight.config.settings import Settings

Settings.setup_logging()

pipeline = RATPipeline(knowledge_base=[
    FolderSource(path="<path to your folder with pdf>/knowledge_base"),
    GitHubSource(url="https://github.com/Bessouat40/RAGLight")
], model_name="llama3", reasoning_model_name="deepseek-r1:1.5b", reflection=1)

pipeline.build()

response = pipeline.generate("How can I create an easy RAGPipeline using raglight framework? Give me the the easier python implementation")

print(response)

理解RAGLight参数

knowledge_base:定义知识来源的列表。RAGLight支持:

  • FolderSource:指向包含文档(如PDF、文本文件)的本地文件夹路径。
  • GitHubSource:要包含在知识库中的GitHub仓库的URL。你可以组合多个文件夹和仓库,以创建一个全面的知识库。

model_name:用于最终生成的LLM的名称。RAGLight目前支持从Ollama拉取到本地的模型。你可以将“llama3”替换为其他模型,如“deepseek-r1:1.5b”,或者任何与Ollama兼容且已拉取到本地的模型。也可以使用推理模型。

reasoning_model_name(RAT特定):指定在RAT管道中用于迭代推理的模型。你必须选择推理模型。实际上,RAGLight目前只支持像deepseek-r1:1.5b这样的deepseek模型。

reflection(RAT特定):定义要执行的推理迭代次数。每次迭代都会优化检索到的上下文和推理逻辑。增加迭代次数可以进行更深入的推理,减少迭代次数则可以加快处理速度。

pipeline.build :此函数用于处理知识库、生成嵌入向量,并初始化向量存储。

  • 工作原理:解析知识库来源(如文件夹、GitHub仓库);使用指定模型为所有文档创建嵌入向量;将嵌入向量存储在向量存储中以供检索。

pipeline.generate:根据用户的查询和从知识库中检索到的上下文生成响应。

  • 工作原理:将用户查询转换为嵌入向量;从向量存储中检索相关文档或片段;(对于RAT管道)使用推理模型迭代优化响应;生成最终具有上下文感知的响应。

我的DeepSeek部署资料已打包好(自取↓)
https://pan.quark.cn/s/7e0fa45596e4

但如果你想知道这个工具为什么能“听懂人话”、写出代码 甚至预测市场趋势——答案就藏在大模型技术里!

❗️为什么你必须了解大模型?

1️⃣ 薪资爆炸:应届大模型工程师年薪40万起步,懂“Prompt调教”的带货主播收入翻3倍

2️⃣ 行业重构:金融、医疗、教育正在被AI重塑,不用大模型的公司3年内必淘汰

3️⃣ 零门槛上车:90%的进阶技巧不需写代码!会说话就能指挥AI

(附深度求索BOSS招聘信息)
在这里插入图片描述

⚠️警惕:当同事用DeepSeek 3小时干完你3天的工作时,淘汰倒计时就开始了。

那么,如何系统的去学习大模型LLM?

作为一名从业五年的资深大模型算法工程师,我经常会收到一些评论和私信,我是小白,学习大模型该从哪里入手呢?老师啊,我自学没有方向怎么办?老师,这个地方我不会啊。如果你也有类似的经历,一定要继续看下去!当然这些问题啊,也不是三言两语啊就能讲明白的。

所以我综合了大模型的所有知识点,给大家带来一套全网最全最细的大模型零基础教程。在做这套教程之前呢,我就曾放空大脑,以一个大模型小白的角度去重新解析它,采用基础知识和实战项目相结合的教学方式,历时3个月,终于完成了这样的课程,让你真正体会到什么是每一秒都在疯狂输出知识点。

篇幅有限,⚡️ 朋友们如果有需要全套 《2025全新制作的大模型全套资料》,扫码获取~
在这里插入图片描述

👉大模型学习指南+路线汇总👈

我们这套资料呢,会从基础篇、进阶篇和项目实战篇等三大方面来讲解。
在这里插入图片描述
在这里插入图片描述

👉①.基础篇👈

基础篇里面包括了Python快速入门、AI开发环境搭建及提示词工程,带你学习大模型核心原理、prompt使用技巧、Transformer架构和预训练、SFT、RLHF等一些基础概念,用最易懂的方式带你入门大模型。
在这里插入图片描述

👉②.进阶篇👈

接下来是进阶篇,你将掌握RAG、Agent、Langchain、大模型微调和私有化部署,学习如何构建外挂知识库并和自己的企业相结合,学习如何使用langchain框架提高开发效率和代码质量、学习如何选择合适的基座模型并进行数据集的收集预处理以及具体的模型微调等等。
在这里插入图片描述

👉③.实战篇👈

实战篇会手把手带着大家练习企业级的落地项目(已脱敏),比如RAG医疗问答系统、Agent智能电商客服系统、数字人项目实战、教育行业智能助教等等,从而帮助大家更好的应对大模型时代的挑战。
在这里插入图片描述

👉④.福利篇👈

最后呢,会给大家一个小福利,课程视频中的所有素材,有搭建AI开发环境资料包,还有学习计划表,几十上百G素材、电子书和课件等等,只要你能想到的素材,我这里几乎都有。我已经全部上传到CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
在这里插入图片描述
相信我,这套大模型系统教程将会是全网最齐全 最易懂的小白专用课!!
在这里插入图片描述

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐