OpenAI的Deep Research功能推出后，开源社区出现了很多复现工作。比较有代表性的Hugging Face官方的Open DeepResearch，通过代码规划行动步骤，实现了思考(thought)和行动(action)交互的ReAct工作流。它同时支持后台接入系统一模型(如DeepSeek-V3)和系统二推理模型(如DeepSeek-R1)。

将之前总结的表格作更新。

要注意的是，表中第一列的Perplexity和秘塔是指早期传统AI搜索的核心模块。一方面，像秘塔和纳米搜索等现在后台也接入了R1，支持基于慢思考的搜索，其实和第二列的DeepSeek联网搜索基本一样了；

另一方面，AI搜索背后的实现涉及查询改写-重排-生成-后处理等工作流，RAG只是核心模块。接下来要讨论的也只是OpenAI Deep Research的核心模块，在o3微调版之前还有一个前置的GPT-4o负责明确用户需求。

可以看到，新增加的第四列-Open DeepResearch虽然支持接入推理模型，但仍然是基于工作流实现思考和搜索行为的切换，可以认为思维链CoT和行动链(Chain-of-Action, CoA)是独立的。

OpenAI Deep Research通过对推理模型增强工具使用能力，将思维链CoT和行动链CoA耦合，因此可以支撑更长链条的思考-搜索循环，从而完成更复杂的知识搜索任务。

1. Agent****工作流 vs. Agent模型

Agent的两个核心能力是任务规划和工具使用。推理模型实现了任务规划的行为内化，在此基础上继续增强了工具使用能力的推理模型，可以给它起一个新的名字：Agent模型。

之前通过模型编排实现任务规划、工具使用等Agent效果的方式称为工作流。那么，Agent模型和Agent工作流的区别是什么？

可以结合此前慢思考/推理的不同实现方式来理解。慢思考/多步推理的方式在o1推理模型出现之前就有了。最早的 CoT 论文提出了通过 prompting 的方法来实现多步推理，利用in-context learning来“强迫”模型生成多步思考的输出，可以认为也是一种工作流。

而o1及之后的推理模型使用的是基于学习的方法：无论是只SFT、先SFT再RL，还是直接RL。推理模型从训练阶段学习了思考步骤之间的关联，因此推断时的多步思考行为是“自愿”的。与工作流方法相比，这种方式产生的思维链逻辑性更强，并可以递进式地生成更深入的内容。

同样的，为了实现边思考边行动的能力，此前的Agent工作流的方式通过更为复杂的prompting (可以成为“工作流工程”)，“强迫”模型在思考和行动之间切换。

而通过将耦合的 CoT 和 CoA 训练到模型行为中，Agent 模型能够“自愿”地决定何时以及如何进行行动。比如OpenAI Deep Research可以进行动态规划，在需要的时候才进行搜索，并基于上下文选择使用什么搜索词。像人类在完成知识研究类任务时一样，循序渐进、步步深入地挖掘更深层次的内容。

再来看OpenAI的AGI路线图。第一层Chatbot和第二层Reasoner都只关注人和模型的二元交互，区别在于Reasoner层的模型在回答之前先进行慢思考推理。

第三层Agent需要模型边思考边行动，因此还需要考虑外部环境，是人-模型-环境的三元结构。行动即是通过工具使用与环境交互来获得反馈，经过多轮think、action和observation的迭代，最终生成回复。

Operator和Deep Research都是如此：Operator的环境是操作系统和应用程序，而Deep Research目前的环境是网络信息和数据资源。

2. 如何训练Agent模型？

从形式看，推理模型的数据是（Q,CoT,A），Agent模型的数据是（Q,CoT,CoA,A）。其中CoA中每个Action的格式是。其中action_type（如“search”）和 action_content（如“query”）是模型生成的。action_type和action_content都是使用工具的参数。action_feedback（如”search result”）是使用工具后环境反馈的结果。

最直接的是沿用推理模型已经证明成功的训练方法。此前我们在复现OpenAI的强化微调RFT时，只将其应用于增强领域推理能力。如果拓展RFT的使用范围，将工具使用能力也通过RFT微调，嵌入推理行为，似乎可以实现Agent模型的训练。

有两种方式。（1）技术理想派：只提供(Q,A)。像DeepSeek R1一样，只给模型问题、最终答案和硬规则(比如鼓励think、鼓励tool use)，让模型自己采样生成合适的CoT和CoA。不过这要比只生成CoT更困难：不仅要生成新的action类型，还要将action和think耦合。

（2）实用派：提供（Q,CoT,CoA,A）。如果有(少量)包含完整思维链和行动链的数据，可以先在（Q,CoT,CoA,A）上SFT，然后在（Q, A）或（Q,CoT,A）上RL。

有两点要注意。一个是与CoA所有输出都由模型生成不同，CoA的feedback由工具使用后反馈，因此包含CoA的RL训练涉及与外部环境交互。这里可以参考MuZero的做法，同步进行环境的世界模型训练和策略模型训练。

第二点是，Agent模型的训练让我们更清楚地看到了模型能力的积累。有了系统一底座（4o/V3）的行动action（如tool use）能力、系统二模型（o3/R1）的链式推理Chain-of-X的能力，才有可能得到Agent模型的Chain-of-Action能力。

当然，也有一种可能。因为生成action_type/content本质上和生成think是一样的，如果系统一底座已经具备了很好的tool use能力，在训练推理能力的时候，CoA会和CoT一样自动涌现。

3. 影响

主要看一下对Agent平台的影响。Agent模型的将原本手动设计的CoT+CoA工作流内化为模型行为，从而进行自动生成。这可能让所谓的工作流工程消失。

这和我们已经经历的特征工程和提示工程的消失类似：深度学习的特征学习能力让手工设计特征不再必要，而像 R1 这样的推理模型增强了指令理解能力，让设计提示词也变得不再重要。

当工作流生成能力下沉到模型层，Agent平台上提供的预设/定制工作流的价值会大大降低。Agent平台将成以RFT as a Service（RFTaaS）的形式运行：用户提供(Q,A)或少量(Q,CoT,CoA,A)就可以构建自己的Agent，相比现在专家设计工作流的门槛降低、灵活性则提高。

当然，平台上的向量数据库和工具接口也需要和Agent模型适配，这也将促进之前讨论Agent路线图时Agent OS为代表的下一代计算机的发展。在Agent内部，Agent模型(CPU)与工具(程序)和数据/记忆(I/Os)之间的接口设计；在Agent之间，不同Agent模型、不同Agent OS之间的通信协议。

Agent能力的提升依然依赖信息获取和信息处理两类工具库的丰富。信息获取包括数据源和非结构化信息解析能力。关于数据源，虽然OpenAI的 Agent 模型暂时具备优势，但谷歌等大厂的数据资源优势则大得多：谷歌搜索引擎、谷歌学术、谷歌图书馆、YouTube，微软的Github，X的X.com等。

信息处理工具则包括通用的可视化、数据库分析等，以及面向不同专业领域的工具，如科学实验仿真、数值计算等。

结合Operator代表的Computer use与操作系统和应用程序的交互，Agent 的目标是实现对人类通过鼠标和键盘操作可以完成的任务的全面优化和替代**。

如何学习AI大模型？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

想正式转到一些新兴的 AI 行业，不仅需要系统的学习AI大模型。同时也要跟已有的技能结合，辅助编程提效，或上手实操应用，增加自己的职场竞争力。

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高

那么我作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，希望可以帮助到更多学习大模型的人！至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

👉 福利来袭CSDN大礼包：《2025最全AI大模型学习资源包》免费分享，安全可点 👈

全套AGI大模型学习大纲+路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉 福利来袭CSDN大礼包：《2025最全AI大模型学习资源包》免费分享，安全可点 👈

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。