官宣，DeepSearcher开源：告别传统RAG，私有数据+Deepseek，打造本地版Deep Research

近日，Open AI的Deep Research（深度研究）功能一经推出，迅速受到诸多关注，通过将大模型+超级搜索+研究助理的三合一，金融机构一键生成报告、科研党一键生成综述成为可能。但囿于企业场景私有化数据的敏感性以及成本问题，如何基于Deep Research做开源的本地化部署，成为不少人关心的问题。在本篇文章里，我们将对市面上复现Deep Research的各类开源项目做一个简单的分析，并。

程序员笑武

1419人浏览 · 2025-02-14 19:11:41

程序员笑武 · 2025-02-14 19:11:41 发布

前言

近日，Open AI的Deep Research（深度研究）功能一经推出，迅速受到诸多关注，通过将大模型+超级搜索+研究助理的三合一，金融机构一键生成报告、科研党一键生成综述成为可能。

但囿于企业场景私有化数据的敏感性以及成本问题，如何基于Deep Research做开源的本地化部署，成为不少人关心的问题。

在本篇文章里，我们将对市面上复现Deep Research的各类开源项目做一个简单的分析，并结合Deepseek等主流开源模型，推出开源项目Deep Searcher，帮助大家在企业级场景中，基于Deep Research思路，做私有化部署。这个方案也在目前常见的RAG方案上做了重大升级。

Github 尝鲜链接https://github.com/zilliztech/deep-searcher；欢迎大家前去体验并给出反馈。

01.什么是Deep Research，为什么需要开源平替？

OpenAI近期推出了一款名为Deep Research的高级AI研究工具，旨在帮助用户高效完成复杂的研究任务。该工具基于OpenAI最新的o3模型，专为网络浏览和数据分析优化。

主要功能

（1）多步骤信息收集与推理：Deep Research能够自主进行多步骤的网络调查，快速整合来自互联网的海量信息，包括文本、图像和PDF文件。

（2）专业级报告生成：通过分析和综合数百个在线资源，Deep Research能在5到30分钟内生成一份带有详细引用的专业报告，大幅缩短传统研究所需时间。

应用场景

（1）学术研究：学生和研究人员可以利用Deep Research快速获取相关领域的深入资料，辅助论文写作和课题研究。

（2）市场分析：企业可以使用该工具进行市场调研、竞争对手分析及产品比较等，支持商业决策。

（3）产品评估：消费者能够借助Deep Research对比不同产品的特性和评价，做出明智的购买决策。

总的来说，Deep Research作为OpenAI推出的深度研究产品，旨在通过自动化的信息收集和分析，帮助用户高效完成复杂的研究任务。不过目前，Deep Research仅向美国地区的OpenAI Pro用户开放，成本需要每月200美金，且每月仅能进行100次查询。

开源方案

目前，大部分用户尚无法使用OpenAI的Deep Research功能。不过好在OpenAI发布该功能后，许多开源贡献者纷纷投入分析，尝试复现该功能。

目前Github上已有许多开源方案，其大致实现思路分为四个步骤：

步骤一，问题分析：大模型分析用户输入问题，确定回答该问题所需的角度和步骤。目前许多大模型（如DeepSeek、ChatGPT、Gemini等）只需勾选推理选项即可生成这一过程。

步骤二，在线搜索：根据生成的问题逐一进行在线搜索，并获取搜索结果的前k项，将其内容反馈给大模型。

步骤三，内容总结：大模型根据在线内容总结出简洁答案。

步骤四，答案判定：将所有内容汇总后，由大模型判断答案是否完整、准确。

如果完整准确，则输出最终答案。

如果达到设定的循环次数或token上限，也输出最终答案。

否则，生成新的问题，重新进入第一步，同时将历史解决信息带入下一次循环。

02.相比传统RAG，Deep Research有何亮点与不足

相对于之前的RAG（Retrieval-Augmented Generation），该方案有三点突破：

一、额外判定逻辑：通过添加判定逻辑，提高答案的准确性。Deep Research 可以采用多源验证、逻辑推导等质量控制机制，确保研究结果的可靠性，并避免了传统 RAG 中存在的盲目检索和过度检索问题。相比之下，传统 RAG 在信息整合和验证方面可能不够完善

二、搜索结果为主：答案更多来源于搜索结果，而非大模型生成。大模型主要负责内容总结和相关性判定，从而提高答案的可信度。

三、深度思考与复杂任务处理：Deep Research 能够像人类研究员一样自主进行多步骤的互联网研究，理解信息、整合资源，并根据新发现调整研究计划，这种自主性和多步骤解决问题的能力，普通RAG难以做到。

优点很突出，但缺点也不容忽视，从前面给出的实现方案中不难看出，Deep Research 除了响应速度较慢、对算力、网络都有着更高需求之外，其答案的主要信息来源依然还是公开的网络搜索结果。

但对于绝大多数企业场景来说，真正有价值的数据，多以企业内部数据的形式存在，既无法通过在线搜索获取，也不能被上传给大模型，出现隐私泄露风险，这也就导致了它们无法被Deep Research利用。此外，在线搜索引擎的搜索结果可能存在误导（如广告），且小众搜索引擎可能存在延时问题。

因此，在大多数企业级场景中，基于Deep Research思路，做私有化部署，或许是一个更优解决方案。

接下来，我们以Deep Searcher为例，来展示如何通过开源项目+本地数据，部署一个本地升级版Deep Research。

03.如何针对私有数据，做Deep Research

下图是基于大部分开源Deep Research方案基础上进行改良，做出的Deep Searcher开源实现方案架构：

可以看到，Deep Searcher通过引入向量数据库Milvus,可以对用户存储在本地的数据进行海量低延时的离线搜索。

具体实现思路上，Deep Searcher分为三步：

第一步，问题分析：获取用户问题后，通过LLM分析生成多个子问题，并确定每个问题涉及的数据集合。

第二步，信息检索：根据大模型的分析结果，从向量数据库中检索相关信息。值得注意的是，向量数据库中的数据均为离线数据，因此在查询前需先将数据写入数据库。这些数据可以是内部私有数据、在线获取后下载的数据，或其他流系统中定期输入的数据。

第三步，内容判定：向量数据库检索到相似信息后，将用户原始问题、每个子问题及其相似搜索结果交由大模型进行内容判定。

如果问题已被完整回答，则进入最终回答阶段。

如果达到设定的循环次数或token上限，也进入最终回答阶段。

否则，大模型生成新的问题，进入下一次循环。

亮点

（1）私有数据利用：最大化利用私有数据，更好地接入大模型。

（2）向量数据库优势：充分利用向量数据库的海量数据处理能力、低延时搜索、多种索引参数、高可用性和资源弹性管理等优势。

（3）数据管理：通过向量数据库有效管理私有数据，针对不同类型的数据进行分库分表，接入多种应用，最大化利用数据，降低数据管理成本。

值得注意的是，为更好地保护私有数据，使用的LLM应为离线模型。如使用LLM API，虽然仅返回检索的部分数据，但仍存在数据泄露风险。

04.Deep Searcher 尝鲜

基于以上思路，Deep Research的本地部署开源版方案Deep Searcher已在Github开源，项目地址为https://github.com/zilliztech/deep-searcher

目前功能现状

（1）LLM支持：DeepSeek官方版本、DeepSeek硅基流动、DeepSeek TogetherAI、OpenAI

（2）Embedding模型支持：Pymilvus中的内置模型、OpenAI Embedding、VoyageAI Embedding

（3）数据Loader支持：离线文档（如PDF、Markdown、TXT）、在线文档（通过FireCrawl、JinaReader、Crawl4AI获取）

（4）向量数据库支持：Milvus、Zilliz Cloud（注册即可免费体验，注册地址：https://cloud.zilliz.com.cn/login 海外：https://cloud.zilliz.com/）

最终效果预览

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述