Deep Research技术大盘点:探索超越RAG的LLM高级应用范式!
OpenAI的Deep Research工具横空出世后,各大厂商都推出了自研的Deep Research工具。所谓Deep Research,是和普通搜索比较的,简单的RAG检索生成一般只有一轮检索。然而Deep Research可以像人类一样,根据一个主题不断的检索,分析,再检索,再分析,直到达到研究目的。从这这个角度上讲,它本质上就是一个升级版的RAG应用,利用ReAct/Plan And S
OpenAI的Deep Research工具横空出世后,各大厂商都推出了自研的Deep Research工具。所谓Deep Research,是和普通搜索比较的,简单的RAG检索生成一般只有一轮检索。然而Deep Research可以像人类一样,根据一个主题不断的检索,分析,再检索,再分析,直到达到研究目的。从这这个角度上讲,它本质上就是一个升级版的RAG应用,利用ReAct/Plan And Solve等模式构建的垂域 Agent,具备文章分解规划生成、资讯获取分析的能力。
原理上讲很简单,但想实现一个私有的满足自身业务需要的成品,其实际工程细节以及效果优化却相当复杂,因此,一些脚手架的项目或者成品的开发平台就显得尤为重要,这就和RAG一样,将会有越来越多的这样的开发框架出现。
今天,就介绍几款 Deep Research 开源实现,代表两种实现思路,一种是基于现有的编排框架实现,如Langchain Langgraph,另一种是针对deep research的特点专门设计开发 。通过它们不仅能够快速构建deep research应用,也能了解这些框架的实现细节以及具体的选型,比如用什么搜索,用什么存储,提示词是什么等等,这对于我们自己实现非常具有参考作用。
1. Langchain Open DeepResearch
它是LangChain官方的演示实现,基于 LangGraph 构建整个处理流程。通过集成多种 API,如 Tavily 、Perplexity,实现搜索和信息收集。用户可以设置每个章节的搜索深度,包括写作、反思、搜索和重写的迭代次数,同时可以对报告章节的计划提供反馈,并迭代至满意为止。
其使用到的Prompt:
https://github.com/langchain-ai/open_deep_research/blob/main/src/open_deep_research/prompts.py
项目地址:https://github.com/langchain-ai/open_deep_research
同类型的有Dify等框架编排的Deep Research应用。
2. Open Deep Research
Open Deep Research是众多垂域实现的一种。它解构了DeepSearch的过程,支持自动和半自动的Research过程。支持多种 API 接口,不仅能够检索外网信息,还能检索企业内部资料,进行汇总分析。用户可以根据需求选择不同的 AI 平台,包括 Google 、OpenAI 、Anthropic 、DeepSeek 等,甚至可以接入本地模型,实现个性化研究。
它包含了Deep ReSearch标准的的三个步骤:
-
搜索结果检索:通过 Google Custom Search 或Bing Search API(可配置)获取指定搜索词的全面搜索结果。
-
内容提取:利用 JinaAI 提取和处理选定的搜索结果内容,确保信息的准确性和相关性。
-
报告生成:使用用户选择的 AI 模型(如 Gemini 、GPT-4 、Sonnet 等)对整理好的搜索结果和提取的内容进行详细报告的生成,提供针对用户自定义提示的深入分析和见解。
以下是生成报告时使用的Prompt:
You are a research assistant tasked with creating a comprehensive report based on multiple sources.
The report should specifically address this request: "${userPrompt}"
Your report should:
1. Have a clear title that reflects the specific analysis requested
2. Begin with a concise executive summary
3. Be organized into relevant sections based on the analysis requested
4. Use markdown formatting for emphasis, lists, and structure
5. Integrate information from sources naturally without explicitly referencing them by number
6. Maintain objectivity while addressing the specific aspects requested in the prompt
7. Compare and contrast the information from each source, noting areas of consensus or points of contention.
8. Showcase key insights, important data, or innovative ideas.
Here are the source articles to analyze:
${articles
.map(
(article) => `
Title: ${article.title}
URL: ${article.url}
Content: ${article.content}
---
`
)
.join('\n')}
Format the report as a JSON object with the following structure:
{
"title": "Report title",
"summary": "Executive summary (can include markdown)",
"sections": [
{
"title": "Section title",
"content": "Section content with markdown formatting"
}
]
}
Use markdown formatting in the content to improve readability:
- Use **bold** for emphasis
- Use bullet points and numbered lists where appropriate
- Use headings and subheadings with # syntax
- Include code blocks if relevant
- Use > for quotations
- Use --- for horizontal rules where appropriate
Important: Do not use phrases like "Source 1" or "According to Source 2". Instead, integrate the information naturally into the narrative or reference sources by their titles when necessary.`
生成的报告可以下载或者存储在知识库中,但它的高质量搜索源不足,缺乏Research验证和迭代过程,因此在质量上还有改进的空间,但整体过程清晰,很适合在此基础上不断改进完善。
项目地址:https://github.com/btahir/open-deep-research
同类型的还有:
https://github.com/nickscamara/open-deep-research (4.3k)
https://github.com/mshumer/OpenDeepResearcher (2.2k)
https://github.com/assafelovic/gpt-researcher (19k)
https://github.com/zaidmukaddam/scira (6.4k)
https://github.com/jina-ai/node-DeepResearch (2.6k)
其中,node-DeepResearch 为jina的开源deep research实现,可以直接使用其api,和其他模型接口使用一样简单,可以快速集成到自己的应用中。
小结
就如文章一开始提到,Deep Research是用户高质量获取内容的需求进化的结果,打破被动推荐的信息茧房,抛弃传统的搜索总结,再搜索再总结的低效过程,很好的通过自动化的方式来解决。按此方向发展,内容获取的模式将会有新的变化,这对于传统的搜索推荐都将会是巨大挑战。
大模型&AI产品经理如何学习
求大家的点赞和收藏,我花2万买的大模型学习资料免费共享给你们,来看看有哪些东西。
1.学习路线图
第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;
第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;
第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。
2.视频教程
网上虽然也有很多的学习资源,但基本上都残缺不全的,这是我自己整理的大模型视频教程,上面路线图的每一个知识点,我都有配套的视频讲解。
(都打包成一块的了,不能一一展开,总共300多集)
因篇幅有限,仅展示部分资料,需要点击下方图片前往获取
3.技术文档和电子书
这里主要整理了大模型相关PDF书籍、行业报告、文档,有几百本,都是目前行业最新的。
4.LLM面试题和面经合集
这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集***
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
更多推荐
所有评论(0)