
DeepSeek+LangChain:家教式全流程RAG实战指南
RAG全称是Retrieval-Augmented Generation(检索增强生成),一句话解释就是:把问题和相应的参考资料一起给大模型,以期望得到效果更好的模型表现。包含用于开发大语言模型应用的各种功能组件,不仅仅是RAG,所以相较于等专门为RAG设计的框架来说,功能更为丰富,更“笨重”,学习门槛更高。参见requirements.txt。这里使用的DeepSeek官方提供的API。
RAG全称是Retrieval-Augmented Generation(检索增强生成),一句话解释就是:把问题和相应的参考资料一起给大模型,以期望得到效果更好的模型表现。
LangChain包含用于开发大语言模型应用的各种功能组件,不仅仅是RAG,所以相较于RAGFlow、HayStack等专门为RAG设计的框架来说,功能更为丰富,更“笨重”,学习门槛更高。
第一步,环境准备
参见requirements.txt。主要Python库:
第二步,模型调用
这里使用的DeepSeek官方提供的API。访问DeepSeek开放平台(https://platform.deepseek.com),创建API_KEY,有免费token额度,如果使用量比较大则需要充值:
DeepSeek采用和openai兼容的API格式,上图为设置相应环境变量。
然后就可以使用模型了,deepseek-chat代表DeepSeek-V3,如果使用DeepSeek-R1则名称填写为deepseek-reasoner:
第三步,文档加载与分割
文档不限制格式,这里以pdf为例:
加载后的文档为Document对象。page_content属性保存的是文档内容,metadata属性保存的是文档元信息,比如来源、创建时间等。
将文档切割成文档片段(chunks),方便存储、向量化与精确检索,每个片段仍然是Document对象,即一个个更小的文档。切割时可以设置每个片段的长度、重叠字符数(chunk_overlap)、切割标识符等参数,其中重叠字符数即相邻片段会有一定的重叠,这是为了避免把段落切得“太碎”,保持语义完整。
第四步,文本嵌入与向量化存储
第二步切割后的文档片段,使用文本嵌入模型(embedding model)将其映射为包含语义信息的向量,然后保存到向量数据库中。嵌入模型和向量数据库都有多种选择,这里使用阿里云百炼的text-embedding-v2嵌入模型和FAISS向量数据库作为示例:
申请阿里云百炼API key(https://bailian.console.aliyun.com/)并设置环境变量:
第五步,重排(ReRank)
在文本被嵌入成固定长度的向量后,会丢失一些信息,为了得到更准确的与prompt(即向量检索时的query)相关的文本,就要在向量检索后再利用重排模型对检索结果进行更精细的语义分析,重新排序,达到筛选出最相关信息和减少无关上下文的目的。
重排模型这里使用北京智源人工智能研究院的BAAI/bge-reranker-large,在Hugging Face上这是最热门的ReRank模型之一。
LangChain已经集成了阿里云百炼的相关Python库,所以在第三步文本嵌入时我们直接使用了一个现成的嵌入模型调用接口DashScopeEmbeddings
而在重排时使用BAAI/bge-reranker-large则需要我们自己实现重排的相关逻辑,不过过程也很简单:
1.继承BaseDocumentCompressor
2.实现compress_documents方法
然后组合向量检索器和重排器:
第六步,设计提示词模板
这里构造提示词模板时,将提示词分为了两部分,一个是系统消息(system,用来表达上下文内容),另一个是用户消息(user,用来表达用户问题),其中context占位符用来填充从第四步中检索到的相关上下文,question占位符用来填充具体的问题。
第七步,构建链
LangChain中的chain最大特点即是把处理流程连接起来,前一步的输出作为后一步的输入,类似于管道操作,如SparkML中的pipeline或者Linux中的管道符。
一般用来构建链的对象是属于Runnable类型的。Runnable相当于抽象基类或者接口。
1.使用RunnableParallel组合上下文和问题,其中ccr即是第四步中检索加重排后得到的上下文
2.构建链
流程逻辑:
1️⃣retriever,用户输入的问题同时传给了ccr和RunnablePassthrough,ccr即检索加重排得到上下文,RunnablePassthrough不做操作返回问题
2️⃣chat_prompt,接收retriver传来的上下文和问题,填充提示词模版中的对应占位符得到完整提示词
3️⃣chat_llm,接收到完整提示词,进行模型推理
4️⃣CustomParser(),对模型推理返回的答案进行格式化
第八步,进行推理
LangChain中使用invoke方法执行链或模型。
我的DeepSeek部署资料已打包好(自取↓)
https://pan.quark.cn/s/7e0fa45596e4
但如果你想知道这个工具为什么能“听懂人话”、写出代码 甚至预测市场趋势——答案就藏在大模型技术里!
❗️为什么你必须了解大模型?
1️⃣ 薪资爆炸:应届大模型工程师年薪40万起步,懂“Prompt调教”的带货主播收入翻3倍
2️⃣ 行业重构:金融、医疗、教育正在被AI重塑,不用大模型的公司3年内必淘汰
3️⃣ 零门槛上车:90%的进阶技巧不需写代码!会说话就能指挥AI
(附深度求索BOSS招聘信息)
⚠️警惕:当同事用DeepSeek 3小时干完你3天的工作时,淘汰倒计时就开始了。
那么,如何系统的去学习大模型LLM?
作为一名从业五年的资深大模型算法工程师,我经常会收到一些评论和私信,我是小白,学习大模型该从哪里入手呢?老师啊,我自学没有方向怎么办?老师,这个地方我不会啊。如果你也有类似的经历,一定要继续看下去!当然这些问题啊,也不是三言两语啊就能讲明白的。
所以我综合了大模型的所有知识点,给大家带来一套全网最全最细的大模型零基础教程。在做这套教程之前呢,我就曾放空大脑,以一个大模型小白的角度去重新解析它,采用基础知识和实战项目相结合的教学方式,历时3个月,终于完成了这样的课程,让你真正体会到什么是每一秒都在疯狂输出知识点。
篇幅有限,⚡️ 朋友们如果有需要全套 《2025全新制作的大模型全套资料》,扫码获取~
👉大模型学习指南+路线汇总👈
我们这套资料呢,会从基础篇、进阶篇和项目实战篇等三大方面来讲解。
👉①.基础篇👈
基础篇里面包括了Python快速入门、AI开发环境搭建及提示词工程,带你学习大模型核心原理、prompt使用技巧、Transformer架构和预训练、SFT、RLHF等一些基础概念,用最易懂的方式带你入门大模型。
👉②.进阶篇👈
接下来是进阶篇,你将掌握RAG、Agent、Langchain、大模型微调和私有化部署,学习如何构建外挂知识库并和自己的企业相结合,学习如何使用langchain框架提高开发效率和代码质量、学习如何选择合适的基座模型并进行数据集的收集预处理以及具体的模型微调等等。
👉③.实战篇👈
实战篇会手把手带着大家练习企业级的落地项目(已脱敏),比如RAG医疗问答系统、Agent智能电商客服系统、数字人项目实战、教育行业智能助教等等,从而帮助大家更好的应对大模型时代的挑战。
👉④.福利篇👈
最后呢,会给大家一个小福利,课程视频中的所有素材,有搭建AI开发环境资料包,还有学习计划表,几十上百G素材、电子书和课件等等,只要你能想到的素材,我这里几乎都有。我已经全部上传到CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】相信我,这套大模型系统教程将会是全网最齐全 最易懂的小白专用课!!
更多推荐
所有评论(0)