摘要：本文提出了一种名为FlowReasoner的查询级元代理，用于自动化查询级多代理系统的设计，即每个用户查询一个系统。 我们的核心思想是通过外部执行反馈激励基于推理的元代理。 具体而言，通过提取DeepSeek R1，我们首先赋予FlowReasoner关于生成多代理系统的基本推理能力。 然后，我们通过具有外部执行反馈的强化学习（RL）进一步增强它。 设计了一种多用途奖励，旨在从性能、复杂性和效率方面指导RL训练。 通过这种方式，FlowReasoner能够通过慎思推理为每个用户查询生成个性化的多代理系统。 工程和竞赛代码基准测试的实验证明了FlowReasoner的优越性。 值得注意的是，它在三个基准测试中的准确率超过了o1-mini 10.52%。 代码可以在https://github.com/sail-sg/FlowReasoner上找到。Huggingface链接：Paper page，论文链接：2504.15257

研究背景和目的

研究背景

随着人工智能技术的快速发展，大型语言模型（LLMs）在各个领域的应用日益广泛。尤其是在自然语言处理、代码生成、数学推理等复杂任务中，LLMs展现出了强大的能力。然而，传统的LLMs在多智能体系统（MAS）领域的应用仍面临诸多挑战。多智能体系统通常涉及多个智能体的协作与互动，以实现复杂的任务目标。在传统方法中，多智能体系统的设计和优化往往依赖于人工经验和专业知识，这不仅耗时耗力，而且难以适应快速变化的任务需求。

近年来，研究者们开始探索自动化多智能体系统设计的方法，尤其是利用LLMs作为元智能体（meta-agent）来指导多智能体系统的生成和优化。然而，现有的方法大多集中在任务级（task-level）的元智能体上，即为某一类任务生成一个通用的多智能体系统。这种方法虽然能够在一定程度上减少人工干预，但仍然缺乏针对具体用户查询（user query）的定制化能力。

在实际应用中，用户查询往往具有多样性和复杂性，不同的查询可能需要不同的多智能体系统配置和工作流程。因此，如何为每个用户查询自动生成定制化的多智能体系统，成为了一个亟待解决的问题。此外，随着多智能体系统复杂性的增加，如何有效地评估和优化系统的性能、复杂性和效率，也成为了研究的重要方向。

研究目的

针对上述背景和挑战，本文的研究目的如下：

1. 提出一种查询级元智能体（Query-Level Meta-Agent）：本文旨在提出一种名为FlowReasoner的查询级元智能体，用于自动化地为每个用户查询设计定制化的多智能体系统。FlowReasoner能够通过外部执行反馈和强化学习机制，不断提升自身的推理和适应能力，以满足不同用户查询的需求。

2. 增强多智能体系统的适应性和可扩展性：通过引入FlowReasoner，本文希望能够减少人工在多智能体系统设计中的干预，提高系统的适应性和可扩展性。FlowReasoner能够自动分析和理解用户查询，并生成相应的多智能体系统配置和工作流程，从而大大降低设计和优化的成本。

3. 提出一种多用途奖励机制：为了有效地指导FlowReasoner的强化学习训练，本文设计了一种多用途奖励机制。该机制综合考虑了系统的性能、复杂性和效率等多个方面，以确保生成的多智能体系统既能够满足用户需求，又能够保持合理的复杂性和高效的运行效率。

4. 实验验证和性能评估：通过在工程和竞赛代码基准测试集上的实验，本文验证了FlowReasoner的有效性和优越性。实验结果表明，FlowReasoner在多个基准测试上的准确率均超过了现有的任务级元智能体方法，展现出了强大的推理和适应能力。

研究方法

模型架构

FlowReasoner的模型架构主要包括以下几个部分：

1. 推理数据蒸馏：首先，本文利用DeepSeek R1模型生成大量的推理数据，包括多轮推理过程和最终的多智能体系统配置。这些数据被用于训练FlowReasoner的基本推理能力。

2. 监督微调（SFT）：在获得推理数据后，本文采用监督微调的方法对FlowReasoner进行预热训练。通过最小化生成推理过程和最终配置与真实数据之间的负对数似然，FlowReasoner能够逐步解锁其推理能力。

3. 强化学习（RL）：在监督微调的基础上，本文进一步引入强化学习机制来增强FlowReasoner的推理和适应能力。具体而言，FlowReasoner通过与外部环境的交互来获取执行反馈，并根据反馈信号来调整其策略。为了指导强化学习的训练过程，本文设计了一种多用途奖励机制，综合考虑了系统的性能、复杂性和效率等多个方面。

训练流程

FlowReasoner的训练流程主要包括以下几个步骤：

1. 数据准备：收集并准备大量的推理数据和用户查询数据，用于训练FlowReasoner的推理能力和适应能力。

2. 模型初始化：利用DeepSeek R1模型对FlowReasoner进行初始化，赋予其基本的推理能力。

3. 监督微调：在推理数据上进行监督微调训练，使FlowReasoner能够逐步解锁其推理能力，并生成合理的多智能体系统配置。

4. 强化学习：在获得基本的推理能力后，引入强化学习机制来进一步提升FlowReasoner的适应性和优化能力。通过与环境的交互来获取执行反馈，并根据反馈信号来调整策略。

5. 性能评估：在训练和优化过程中，定期评估FlowReasoner的性能、复杂性和效率等指标，以确保其满足用户需求并保持合理的复杂性和高效的运行效率。

技术细节

1. 多用途奖励机制：为了有效地指导FlowReasoner的强化学习训练过程，本文设计了一种多用途奖励机制。该机制综合考虑了系统的性能（如准确率、召回率等）、复杂性（如模型参数数量、推理时间等）和效率（如资源利用率、吞吐量等）等多个方面。通过赋予不同方面的奖励权重，可以灵活地调整FlowReasoner的优化目标。

2. 自动降级采样：在处理长视频或高分辨率图像等大规模数据时，为了保持上下文的完整性和视觉细节，FlowReasoner采用了自动降级采样技术。该技术根据输入数据的复杂性和模型的推理能力来动态地调整采样率，以确保模型能够在不丢失关键信息的情况下高效地处理数据。

3. 图像区域保留：在图像理解任务中，为了保留重要的视觉细节并提高模型的推理能力，FlowReasoner引入了图像区域保留技术。该技术通过识别图像中的关键区域并在推理过程中优先处理这些区域来增强模型的性能。

研究结果

性能比较

本文在工程和竞赛代码基准测试集上对FlowReasoner进行了全面的性能评估。实验结果表明，FlowReasoner在多个基准测试上的准确率均超过了现有的任务级元智能体方法。具体而言，在BigCodeBench、HumanEval和MBPP三个基准测试集上，FlowReasoner的准确率分别达到了63.53%、97.26%和92.15%，整体准确率比现有的最强基线方法MaAS高出5个百分点。此外，FlowReasoner还显著超过了其底层工作模型o1-mini的性能，展现出了强大的推理和适应能力。

消融研究

为了更深入地了解FlowReasoner的各个组成部分对性能的影响，本文进行了消融研究。实验结果表明，无论是模型大小还是训练阶段（如监督微调和强化学习）都对最终性能产生了显著影响。具体而言，更大的模型参数数量和更长的训练时间都能够带来更好的性能表现。此外，自动降级采样和图像区域保留技术也对性能提升起到了重要作用。

泛化能力评估

为了评估FlowReasoner的泛化能力，本文将其与不同的工作模型进行配对实验。实验结果表明，FlowReasoner能够很好地适应不同的工作模型，并在相同的任务上保持一致的性能表现。这证明了FlowReasoner的框架具有良好的泛化能力和鲁棒性。

研究局限

尽管FlowReasoner在多个基准测试集上表现出了显著的性能优势，但仍存在一些局限性：

1. 数据依赖性：FlowReasoner的性能在很大程度上依赖于训练数据的质量和多样性。如果训练数据不足或不够多样化，可能会影响模型的推理和适应能力。

2. 计算资源需求：由于FlowReasoner采用了复杂的模型架构和训练流程，因此需要大量的计算资源来支持其训练和推理过程。这可能限制了其在资源受限环境下的应用。

3. 模型可解释性：尽管FlowReasoner在性能上表现出色，但其决策过程仍然缺乏可解释性。这可能会阻碍其在需要高透明度和可解释性的场景中的应用。

未来研究方向

针对上述研究局限，未来的工作可以从以下几个方面展开：

1. 数据增强与多样化：探索更有效的数据增强和多样化技术，以提高训练数据的质量和多样性。这将有助于提升FlowReasoner的推理和适应能力，并减少对数据量的依赖。

2. 轻量级模型设计：研究轻量级模型设计技术，以降低FlowReasoner的计算资源需求。这将有助于推动其在资源受限环境下的应用，并提高其实际部署的可行性。

3. 模型可解释性研究：开展模型可解释性研究，以揭示FlowReasoner的决策过程和工作机制。这将有助于提高模型的透明度和可解释性，并推动其在需要高透明度和可解释性的场景中的应用。

4. 跨模态推理与适应：进一步研究跨模态推理与适应技术，以提升FlowReasoner在处理多模态数据时的能力。这将有助于推动其在更广泛的应用场景中的应用，并提高其整体性能和鲁棒性。

5. 实时推理与交互：探索实时推理和交互技术，以提高FlowReasoner在实时应用中的性能和用户体验。这将有助于推动其在需要快速响应和高交互性的场景中的应用。