26年6月来自阿里千问团队的论文“Qwen-RobotNav Technical Report: A Scalable Navigation Model Designed for an Agentic Navigation System”。

智体导航系统需要一种基础导航模型，其观测策略能够在推理阶段进行外部重配置；这是因为指令遵循、物体搜索、目标追踪和自动驾驶虽然共享相同的感知-规划主干网络，但对视觉流的处理策略却截然不同。其提出 Qwen-RobotNav，这是一个基于 Qwen3-VL 构建的可扩展导航模型，通过一个包含两个互补维度的参数化接口解决了上述问题：一是用于选择导航行为的多种任务模式，二是用于控制视觉历史编码方式的可调观测参数（如 Token 预算、各摄像头的权重）。通过在训练阶段对所有参数进行随机化处理，Qwen-RobotNav 对推理阶段的各种配置均具有鲁棒性，且无需对 Qwen3-VL 主干网络进行任何架构修改。在 1560 万个样本上训练 Qwen-RobotNav；与视觉-语言数据的联合训练避免仅使用轨迹数据训练时常出现的“退化为反应式动作序列映射器”的问题。该参数化接口还使 Qwen-RobotNav 成为构建智体系统的理想组件：在长程任务场景中，上层规划器可将目标分解为子任务，并在任务执行过程中动态切换 Qwen-RobotNav 的任务模式与上下文策略，从而通过重复调用同一模型来组合出复杂的行为。

其在 VLN-CE RxR 上成功率为 76.5%，在 EVT-Bench 上追踪率为 90.0%，在 NAVSIM 上 PDMS 得分为 91.4。基于 Qwen-RobotNav 构建的智体导航系统还在“具身问答”（Embodied Question Answering）任务中创下了新纪录，相比此前的最佳方法，在 HM-EQA 和 EXPRESS-Bench 上的性能分别提升了 10.8% 和 15.4%，同时导航步数减少了 77%。该模型在参数规模从 20 亿（2B）扩展到 80 亿（8B）的过程中表现出良好的扩展性；联合多任务训练构建了一个共享的空间规划基础，实现了跨任务类型的能力迁移。

---

任务形式化。考虑一种通用的移动导航场景（Zhang et al., 2025a; AMAP CV Lab, 2025; Zhou et al., 2025a），其中具身智体接收文本指令 L 以及由 N 个摄像机在 T 个时间步采集的多视角观测序列 I^1:N_1:T。基于这些输入，导航策略 π 必须预测一条由 K = 8 个航点组成的轨迹 W = {(x_k, y_k, θ_k)}，其中每个航点包含二维位置 (x_k, y_k) 和朝向 θ_k。

一个核心挑战在于：随着导航过程的推进，T（时间步数）会在线增长，N（不同机器人平台的数量）各不相同，导致视觉 Token 总数呈 O(T · N) 规模增长；若无系统的压缩策略，该数量将迅速超出任何大语言模型（LLM）主干网络的上下文容量限制。此外，不同任务对观测建模的需求存在本质差异：目标追踪仅需保留包含高分辨率帧的短时近期的窗口，以锁定移动目标；而以物体为目标的导航则必须保留长时程的片段历史，以便回溯已探索区域并避免重复访问。因此，单一且与任务无关的观测编码方式无法有效支持各类导航任务，这促使我们采用一种任务自适应策略。

1 模型架构

Qwen-RobotNav 继承 Qwen3-VL 架构（Yang et al., 2025a），并增加一个用于轨迹回归的轻量级动作头（action head）。如图 2 整个系统由三个组件构成：

• 视觉编码器（Vision Encoder）。该视觉编码器继承自 Qwen3-VL，基于 SigLIP-2 (Tschannen et al., 2025) 视觉 Transformer 构建，并通过 2D-RoPE (Chen et al., 2025a) 原生支持动态分辨率，从而使 Token 分配策略能够根据分配的像素预算灵活调整每个摄像机视角的尺度。一个双层 MLP Patch 合并模块（patch merger）将 s²_m 个相邻的空间 Token 压缩为单个向量，使其与 LLM 的隐藏层维度对齐；DeepStack 机制（Meng et al., 2024）则将来自多个 ViT 层的视觉 Token 注入 LLM 的浅层，从而保留了对空间推理至关重要的多层次视觉表征。

• 语言骨干网络（Language Backbone）。同样继承自 Qwen3-VL 的 LLM 负责处理视觉 Token与语言 Token 的拼接序列。通过大规模视觉-语言预训练，该骨干网络已具备丰富的世界知识、空间理解能力及跨模态推理能力，这些能力可直接迁移应用于导航任务。

• 动作头（Action Head）。一个轻量级的 4 层 MLP 将 LLM 的最终隐藏状态映射为 K=8 个路点（waypoints），每个路点包含 3 个自由度 (x_k, y_k, theta_k)，最终输出一个 24 维的向量。通过保持动作头的极简设计，大部分空间推理过程保留在 LLM 内部，使模型在未见过的环境中规划轨迹时，能够充分利用预训练语言骨干网络所掌握的世界知识。

2 任务自适应观测编码

导航本质上是一种部分可观测环境下的序列决策过程：智体无法一次性获取环境全貌，必须从连续的自我中心（egocentric）观测流中积累空间知识。保留多少历史信息以及保持何种保真度，从根本上取决于任务的决策结构。需要进行计划验证的任务（如指令遵循）要求具备全局片段记忆（global episode memory），以便智体能对照指令重新参照此前观察到的地标；而由反应式追踪驱动的任务（如目标跟踪）则几乎完全依赖于最新帧，从而围绕移动目标维持紧密的感知循环。固定上下文策略（如均匀采样 [Zhang et al., 2024a; 2025b;a] 或滑动窗口 [AMAP CV Lab, 2025]）往往局限于单一模式，无法在不重新训练的情况下适应不同任务。相比之下，Qwen-RobotNav 提供一个包含四个正交控制轴的统一参数化接口。

Token分配算法。给定 T 个时间步和 N 个摄像机，首先根据帧采样模式对帧进行子采样或选取 T′（T′ ≤ T）帧，然后计算每一帧保留帧的时间权重。对于给定的 Token 总预算 B 以及时间步 t 和相机 c 处的帧 (t, c)，Token 分配过程分为三个阶段：(1) 每个单元 (t, c) 获得至少 b_min 个 Token；(2) 剩余预算 B - T’N b_min 按权重 W 比例分配；(3) 任何超过单图像上限 b_max 的单元释放多余 Token，这些 Token 被迭代重新分配，直至达到稳定状态。要求满足 T’N b_min le B le T’N b_max；若采样配置违反此约束，则在分配前将 B 截断至可行区间内。随后，每张图像分配到的 Token 数量通过视觉编码器的 Patch 大小和空间合并（spatial merge）大小决定其像素分辨率，图像在保持原始长宽比的同时被缩放至该像素预算。值得注意的是，这种 Token 分配方式是一种经经验验证的启发式策略，旨在提供一个统一接口以控制模型的 Token 上下文；该策略也被应用于智体系统中。采用更具理论依据的 Token 分配算法有望进一步优化这一策略。

训练时随机化。在训练阶段，所有观测超参数均针对每个样本进行独立随机化：gamma ～ U[1, 3]，B ～ U[2048, 4096]；每个相机的权重 w_c 从其特定范围采样（例如前置相机权重取自 U[1.5, 2.5]）；单图像 Token 下限 b_min ～ U_Z[1, 8]，上限 b_max ～ U_Z[128, 256]。这种做法确保模型不会在固定配置下进行训练，从而支持模型在随机化训练范围内的配置间实现稳健泛化，并能在超出该范围时进行适度外推，且无需针对特定任务进行微调。

3 视点与时间标识

经过编码后，来自不同摄像机和时间步的视觉 Token 对大语言模型（LLM）而言是无法区分的：主干网络（backbone）本身并不具备将某个 Token 关联到特定视点（如“前置摄像机、第 12 步”）或特定时间点（如“左侧摄像机、第 3 步”）的内在机制。若缺乏明确的身份标识信号，模型便无法学习针对特定摄像机或具有时间顺序的表征，从而限制了其对空间布局或任务序列历史进行推理的能力。

Qwen-RobotNav 通过在视觉 Token 进入 LLM 之前插入自然语言形式的视点与时间步标签来解决这一问题。具体而言，每个时间步的数据组均以“Time step t”作为头部标识，随后依次列出各摄像机的名称及其对应的 <image> Token。

因此，摄像头的身份和时间顺序完全通过 Qwen3-VL 中已有的常规词汇tokens来传达，无需对模型架构进行任何修改。该模型现有的开放世界语言接地（open-world language grounding）能力能够自然地处理视点语义：诸如“前（Front）”、“左（Left）”和“右后（Back Right）”之类的词汇，其蕴含的空间含义已被预训练大语言模型（LLM）从预训练语料库中内化掌握。另一种表示方式是通过数值方位角（例如“右转 90 度”）来指定每个摄像头；然而，描述性名称能带来稍好的性能，这可能是因为它们携带更丰富的语义关联，便于语言模型进行空间推理。

4 具身-觉察的提示词设计

由于 Qwen-RobotNav 运行于截然不同的物理平台上，它必须区分不同的具身形态（embodiments），例如室内移动机器人和自动驾驶车辆。Qwen-RobotNav 并非通过学习的嵌入（embeddings）或独立的模型头（model heads）来编码具身信息，而是通过系统提示词中的自然语言前导语（preamble）来传达智体的物理身份。例如，室内机器人的样本以“想象你是一个被编程用于导航任务的机器人”开头，而自动驾驶样本则以“想象你是一辆被编程用于自动驾驶的汽车”开头。

这种具身前导语起到任务先验（task prior）的作用：通过将自身标识为“机器人”或“汽车”，模型会调用其预训练世界知识的不同子集（例如室内空间布局与交通规则及道路几何结构），从而指导轨迹预测。这种基于文本的方法还具有天然的可扩展性：若要支持无人机、轮式机器人或四足机器人等新平台，只需定义一个新的提示词模板，无需更改架构或增加额外参数。

5 动作规划

动作规划模块将 LLM 的最终隐藏状态 E_A 映射为航点轨迹（waypoint trajectory）。采用一个轻量级的 4 层 MLP 头部网络，其隐藏层维度为 512，并使用 GELU 激活函数。该网络的 24 维输出编码了 K=8 个航点，每个航点包含 3 个自由度（x_k, y_k, theta_k）。在训练过程中，航点坐标被归一化至 [-1, 1] 区间，所使用的缩放因子是基于每个数据集内所有训练轨迹中各坐标的 99 分位数计算得出的；训练目标是最小化预测轨迹与真实轨迹之间的均方误差（MSE）损失。在推理阶段，预测出的路点（waypoints）会使用相同的缩放因子进行反归一化处理。

6 训练策略

训练目标。Qwen-RobotNav 采用复合损失函数进行训练，旨在联合优化轨迹回归与视觉-语言对齐任务，其中的两个目标共享同一个前向传播过程；在所有实验中，λ 均设定为 1.0。

配置随机化。Qwen-RobotNav 训练的一个核心原则是：不固定任何观测配置。在每个训练步骤中，针对每个样本，任务自适应接口的所有连续控制参数（B、γ、wc、b_min、b_max）均进行独立采样；同时，帧采样模式以等概率在“随机采样”与“最新帧采样”之间交替切换。

通过在训练期间让模型接触这些参数构成的广泛组合空间，Qwen-RobotNav 能够在无需针对特定任务进行微调的情况下，实现随机训练范围内各种配置间的泛化。特别是，以等比例混合使用随机采样（实现全局覆盖）和最新帧采样（利用近因窗口），使得模型在部署时能够实现“上下文-策略”的零样本切换——智体系统正是利用了这一特性。

联合训练。训练语料包含 85% 的导航轨迹规划数据和 15% 的导航相关视觉-语言推理数据。数据集采样以批次（batch）为单位，依据数据集注册表中定义的采样率进行，从而确保在每个训练轮次（epoch）中，各类导航任务（包括指令遵循、点目标导航、物体搜索、目标追踪及自动驾驶）都能获得均衡的训练覆盖。视觉-语言组件的引入防止了模型发生灾难性遗忘，从而保留了 Qwen3-VL 原有的开放世界感知能力：若仅使用导航轨迹数据训练，模型往往会退化为单纯执行反应式动作序列，并丧失通用的空间推理能力；而联合训练则保留了丰富的语言基础（language grounding），这正是 Qwen-RobotNav 能够针对未见过的环境和指令风格实现零样本泛化的关键所在。

优化细节。Qwen-RobotNav 基于预训练的 Qwen3-VL 检查点（checkpoint）进行初始化，并进行端到端的微调。用 AdamW 优化器（Loshchilov & Hutter, 2019），参数设置为 β1=0.9、β2=0.95 以及权重衰减（weight decay）10⁻²。训练过程中采用余弦学习率调度策略，并在前 3% 的训练步数内进行线性预热（warm-up）；视觉编码器与 LLM 主干网络（backbone）的峰值学习率为 2×10⁻⁵，动作头（action head）的峰值学习率为 1×10⁻⁴。梯度范数被裁剪至 1.0。该 8B 模型在全局批大小（global batch size）为 256 的设置下进行训练，总计消耗 2,816 个 H100 GPU 小时。

---

1 概述

导航模型不仅旨在用于独立的基准测试评估，还可作为通用具身智体（embodied agents）内部的导航模块进行部署（Zhou et al., 2024b; Long et al., 2024）。在此设定下，上层智体不仅需要决定执行何种导航子目标，还需确定当前任务阶段所采用的导航任务模式、观测配置以及何时查询辅助视觉证据。例如，一个长程搜索任务可能需要在指令遵循、目标物体搜索、点对点移动和目标追踪之间切换，同时调整视觉历史信息的保留量。

因此，通过轻量级工具接口将 Qwen-RobotNav 呈现为一个可供智体直接调用的导航模型。在每个导航步骤中，上层规划器提供子目标指令 L_i，选择任务模式 tau_i，并指定观测配置 Phi_i。任务模式 tau_i 描述待调用的导航行为，例如 VLN（视觉语言导航）、PointNav（点导航）、ObjNav（物体导航）或 Tracking（追踪）。配置 Phi_i = (B, gamma, w_c, m, b_min, b_max) 遵循符号定义：B 控制视觉 Token 的总预算，gamma 控制近因偏差（recency bias），w_c 指定相机权重，m 指定帧采样模式，而 b_min 和 b_max 定义了单张图像的分配约束。基于选定的任务模式和配置，Qwen-RobotNav 预测出航点轨迹 W_i。

除了导航调用外，规划器还可以针对当前观测或存储的关键帧发起辅助视觉工具调用。在接口中，这些工具包括物体检测、场景理解和语义接地（semantic grounding）。它们为决定下一个子目标或验证候选观测提供额外证据，但不负责预测航点，也不会取代 Qwen-RobotNav 作为核心导航执行者的地位。

最终构建的系统以 Qwen-RobotNav 作为核心导航执行者。高层规划器负责分解长时程目标、选择任务模式与上下文配置、在需要时查询辅助视觉证据，并对先前导航调用返回的证据进行推理。一个轻量级的衔接层连接这两部分：它将规划器的决策转换为对 Qwen-RobotNav 的调用，并将已完成的导航过程转化为紧凑的轨迹证据，以供后续规划使用。这种设计既保持智体层的简洁性，又使其能够利用 Qwen-RobotNav 内置的可控接口。

2 面向智体的 Qwen-RobotNav 接口

Qwen-RobotNav 面向智体的关键特性在于，其导航行为可在推理阶段进行外部配置。这种可配置性源于两类互补的导航接口。

首先，Qwen-RobotNav 支持多种导航任务模式。在 VLN（视觉语言导航）模式下，模型遵循自然语言路径指令，并将其与视觉观测进行关联（grounding）。在 PointNav（点导航）模式下，模型向指定的空间目标或航点式目标移动。在 ObjNav（物体导航）模式下，模型利用积累的视觉证据搜索特定类别的物体或特定物体实例。在 Tracking（追踪）模式下，模型优先考虑近期观测，以锁定移动目标或近期观测到的目标。这些模式并非独立的导航策略，而是针对同一 Qwen-RobotNav 模型的不同任务接口。

其次，每次导航调用均可指定观测配置 Φ。关于任务自适应观测编码算法的完整描述已给出，此处仅强调规划器如何使用该算法。当当前子目标需要更广泛的片段历史信息（例如搜索物体或重访先前探索过的区域）时，规划器可以增大 B 并采用较弱的新近度偏置（recency bias）。反之，当子目标属于局部且需即时反应的类型（例如靠近可见物体或追踪移动目标）时，规划器可采用较小的 B、较大的 γ 以及最新帧采样策略。在实际应用中，w_c、b_min 和 b_max 通常保持平台级的默认设置，而 B、γ 和 m 则是向规划器开放的主要控制参数。

例如，在大型室内场景中搜索目标物体时，规划器可以调用处于“物体导航”（ObjNav）模式下的 Qwen-RobotNav，并采用较大的 Token 预算及覆盖历史信息的帧采样策略。一旦观测到候选目标，规划器便可切换至“追踪”（Tracking）或局部的“点导航”（PointNav）行为模式，并采用更侧重于近期信息的配置。这体现了面向智体（agent-facing）接口的核心作用：它允许上层规划器通过对同一导航基础模型进行多次、可配置的调用，来构建长程行为序列。

如图4 所示：高层规划器将长时程任务分解为若干子目标，并调度辅助视觉工具调用或 Qwen-RobotNav 导航调用。每次导航调用均由子目标指令 L_i、任务模式 tau_i 及观测配置 Phi_i 进行参数化设定。Qwen-RobotNav 利用选定的任务模式与配置预测航点 W_i，并将其在环境中执行。系统框架将由此产生的执行过程（rollout）转化为带源索引的关键帧、轨迹摘要及证据记录更新，从而为后续规划步骤提供精简的上下文信息。

3 导航驾驭：轨迹证据与上下文压缩

上述控制 Qwen-RobotNav 的调用方式。接下来的问题在于，如何将每次导航调用的结果反馈给规划器。Qwen-RobotNav 的一次完整执行（rollout）包含密集的自我中心（egocentric）观测、采样历史帧、底层控制轨迹以及预测的航点轨迹。若将这一完整数据流直接传回规划器的对话中，会迅速耗尽上下文容量限制；反之，若仅返回一个成功标志，则会丢失后续规划所需的关键证据。因此，采用一种轻量级的“轨迹转证据”接口。

对于每一次导航调用，驾驭（harness）都会将执行的展开（rollout）转换为紧凑的证据记录：

{
subgoal: “Search the kitchen area for a mug”,
task_mode: ObjNav,
config: Φi (main controls: B, γ, m ),
progress: “entered kitchen, checked countertop and dining table”, salient: [“sink”, “countertop”, “round table”, “no mug observed”], outcome: “target not found”,
key_frames: [#18, #31]
}

该记录并非旨在替代视觉证据，而是作为导航片段期间所发生事件的、带有源索引的摘要。文本字段向规划器说明了尝试了什么操作、智能体移动到了何处、观察到了什么以及子目标是如何结束的。关键帧标识符指向已存储的视觉观测数据；若规划器需要重新检查场景或验证候选目标，可随时检索这些数据。

该系统维护着一个用于长程推理的精简证据笔记本。笔记本存储持久性结论，例如已搜索区域、候选物体位置、被排除的假设、地标线索及布局推断。与原始对话历史不同，笔记本条目被设计为在上下文压缩过程中得以保留。后续条目可能会修正先前的认知，但更新历史记录是可追溯的。一个典型的条目示例如下：

[step 47] Kitchen entered and searched; countertop and dining table checked. No mug observed. Corridor shelf remains a possible candidate region from key frame #12.

轨迹证据与证据笔记本共同构成了两级记忆系统。默认情况下，规划器基于精简的文本记录和笔记本条目进行推理。当文本信息不足时，规划器可通过关键帧标识符进行视觉回溯，检索原始图像。这种机制既保持了规划器上下文的简洁性，又确保了对详细视觉证据的访问能力。
该系统还支持调用辅助视觉工具，如物体检测、场景理解和语义接地。这些工具辅助规划器建立态势感知，但并不取代 Qwen-RobotNav 作为核心导航模型的作用。它们的作用是围绕“规划器-Qwen-RobotNav”这一核心循环提供额外的证据渠道：规划器选择任务模式与配置，Qwen-RobotNav 执行导航片段，系统则返回精简的轨迹证据以供下一次决策使用。

总之，智体层并未引入独立的导航策略。其主要功能是让上层规划器能够调用 Qwen-RobotNav 现有的任务模式与观测控制功能，并通过轨迹证据、笔记本记忆及上下文压缩机制，使已完成的执行过程（rollouts）能够服务于长程推理任务。

---

1 导航轨迹规划

Qwen-RobotNav 的一项关键设计原则是基于广泛的导航任务谱系进行训练，而非专注于单一范式。围绕四个能力维度构建轨迹规划语料库，以拓展模型面临的操作需求：将语言或几何引导转化为可执行动作；探索部分观测空间以定位目标（Zheng et al., 2025; 2024; Peng et al., 2025）；与动态智体交互（需实时预测其未来状态）；以及在开放世界环境中，针对高速、多智体且涉及安全关键动态的场景进行规划。这些维度大致涵盖了环境不确定性、时间依赖性和具身（embodiment）多样性的递增变化，但在实际应用中它们并非互斥。相反，更复杂的导航模式往往会复用较简单的能力，同时引入额外的感知、规划和控制需求。跨谱系的联合训练促使模型形成一种通用的空间规划基础能力，从而实现超越单一任务类别的泛化。完整的训练语料库包含 1560 万个样本；图 5 总结了各数据集及各类别的数据分布情况。

基于上述维度，选取​​五类具体任务作为训练语料库的实例：

• 指令遵循与点目标导航（point-goal navigation）：通过结合丰富的过程性语言与简洁的方向或坐标指令，实现引导式导航的落地，从而覆盖了任务规范的完整粒度谱系。
• 物体目标导航（object-goal navigation）：体现了探索维度，要求智能体在没有分步指令的情况下构建隐式空间地图并推测目标位置。
• 主动目标追踪（active target tracking）：引入了动态交互，要求在拥挤场景中实时预测运动轨迹并重新识别移动人员。
• 自动驾驶：实现了跨具身的规划任务，涉及高速、多智能体交通动态及严格的安全约束；该操作模式虽与室内导航共享相同的空间规划底层原理，但在感知范围、动作粒度和决策延迟方面有着显著差异。

选择这五项任务是因为它们互不冗余：每一项任务都侧重于感知、规划和控制的不同组合（这些组合在其他任务中往往训练不足），而它们共同构成了对上述能力维度的充分覆盖，从而在联合优化过程中实现相互增强。

2 利用视频生成器自动生成导航数据

尽管源自模拟器的轨迹提供精确的“真值”（ground-truth）监督信号，但它们受限于三维重建资产的可用性，且与真实世界观测结果相比存在持续的视觉域差异（visual domain gap）。为了利用无需三维场景重建的多样化、照片级逼真训练数据来补充模拟器数据集，引入一个全自动流程，将“文本生成视频”（T2V）的输出转化为导航轨迹样本。该流程涵盖指令遵循和目标追踪这两项核心能力，并通过图8所示的五个连续阶段生成了4万个训练样本。

• 阶段1：提示词与指令生成。大语言模型为每个样本生成成对的输出：一个描述第一人称导航场景的详细视频提示词（prompt），以及相应的自然语言导航指令。提示词取自一个场景复杂度矩阵，该矩阵涵盖12种场景类别（如家庭、办公室、商场、医院、公园、街道）和7种交互复杂度（如避障、目标遮挡与重现、人群中导航、突然转向），从而产生29种不同的组合，确保了环境和行为层面的广泛覆盖。

• 阶段2：文本生成视频（T2V）。每个视频提示词被输入到T2V模型中，生成一段时长约5秒的第一人称视角导航视频。生成的视频片段描绘智体在描述场景中移动的情景，具备逼真的光照、纹理以及行人等动态元素，且无需任何三维资产或物理模拟。

• 阶段3：基于视觉-语言模型（VLM）的视频质量筛选。视觉-语言模型根据特定能力的质量维度评估每一个生成的视频。对于指令遵循类视频，评估内容涵盖场景一致性、导航正确性、到达目标、停止行为、运动连续性及避障能力；对于目标追踪类视频，则额外评估目标可见性、追踪行为以及跨帧身份一致性。只有符合所有适用标准的视频才会被保留。

• 阶段4：轨迹提取。利用单目深度与位姿估计模型，从每个保留的视频中恢复出逐帧的相机到世界坐标系的位姿信息。估计出的位姿从相机坐标系转换至以机器人为中心的地面坐标系，从而为每一帧生成一个二维轨迹 [x, y, yaw]；其中 x 和 y 分别表示相对于初始帧的前向和侧向位移（单位：米），yaw 表示航向角（单位：弧度）。

• 阶段 5：轨迹质量筛选。利用基于规则的运动学滤波器剔除具有物理上不合理特征的轨迹，这些特征包括：总位移接近零、位置或航向抖动过大、单步“瞬移”、异常加速度以及经频谱分析检测出的高频噪声。各项检查均采用可调节的阈值，若轨迹触发任一判定标准，即被舍弃。
由此生成的数据集提供基于逼真（照片级真实感）、由文本生成视频（T2V）技术所生成图像的轨迹监督信号，涵盖了多种类真实场景；这不仅补充源自仿真器的数据集，还带来更丰富的视觉多样性并缩小域差异（domain gap）。

3 视觉-语言数据

稳健的动作预测依赖于跨越各类导航任务的感知与推理能力，而这些能力无法仅通过轨迹监督可靠地获得。在杂乱场景中识别物体、读取标志上的文字、推断空间布局、比较多视角图像以及解读新颖的视觉上下文，都是在未见环境中进行导航的先决条件。将导航轨迹数据与约 100 万个通用视觉-语言样本及 87.3 万个导航专用推理样本进行联合训练；这些样本被组织为两组互补的数据，共同维持并增强实现 VLM向 VLA迁移所需的感知基础。

通用视觉-语言数据（约 100 万）。纳入涵盖八个互补类别的训练样本：视觉问答（约 66.9 万；如 VQAv2、DVQA、FigureQA、CLEVR 等）、图像描述生成（约 6 千）、视觉定位（约 17.8 万；如 RefCOCO、COCO、Objects365）、指令遵循（约 3 万）、多图像推理与比较（约 3.8 万）、通用视觉问答（约 7.6 万）、物体与地标识别（约 1.6 万）以及 STEM 问题求解（约 1.4 万）。这些样本不仅仅起到防止灾难性遗忘的正则化作用，更重要的是，它们保留并扩展了支撑下游动作预测（包括物体与地标识别、空间推理、文本解析及多图像分析）所需的“野外”视觉理解能力。所有样本均采用统一的对话格式，并与导航数据联合训练，从而确保模型在习得具身能力的同时，能够保持这一感知基础的完整性。

导航专用推理数据（87.3 万）。导航推理本质上具有特定领域的特性：例如，决定是否在走廊交叉口左转，需要一种在性质上不同于通用视觉问答的空间理解能力。扩展 NavGPT-2 (Zhou et al., 2024a)，并利用现有的 VLN轨迹数据构建两种互补的推理格式。自由形式问答（Free-form QA）针对轨迹中的关键决策点，包括起始步骤、最终步骤以及主要动作类别发生切换的转折点（即在前向移动与转向之间切换的点）。每个样本未来 8 步的轨迹被归类为十二种细粒度动作类别之一（包括六种纯转向动作：左/右方向的微小、中等和大角度转向；四种转向与前行结合的动作；直线前行；以及停止），并转化为问答对形式，从而训练模型在执行动作前用自然语言表达空间推理过程。结构化多视角推理（Structured multi-perspective reasoning）将这一理念扩展到了多视角上下文分析。对于每个选定样本，智能体的历史前向视角观测（最多 8 帧均匀采样图像）和当前的四视角全景图像（前、右、后、左）与导航指令、真实动作标签及轨迹统计数据相结合，构成结构化提示（prompt）。随后，视觉语言模型生成包含以下四个部分的结构化推理链：

• 历史推理（History reasoning）：基于历史视角对已行进路程的总结性第一人称叙述。
• 场景分析（Scene analysis）：对当前四个视角中可见内容的描述。
• 指令进度（Instruction progress）：评估相对于原始指令已完成和剩余的子目标。
• 动作推理（Action reasoning）：简洁的推理链，最终得出预测动作及置信度评分。

随后，每个样本被分解为四个独立的问答对，从而为历史理解、场景理解、进度追踪和动作预测提供各自独立的微调信号。通过要求模型在推导动作之前重构轨迹上下文、分析当前场景并评估指令进度，这两种格式都强制执行一种系统性的推理过程，该过程作为从 VLM向 VLA迁移的归纳偏置（inductive bias）：这种经由语言介导的推理一旦被模型内化，便成为一种可迁移的支架，既提高了问答准确率，也提升了预测动作轨迹的质量。

离散多轮导航数据（362K）。为了补充连续环境下的轨迹数据，纳入约 36.2 万个源自离散式 VLN 数据集的训练样本；具体做法是将基于图结构的导航轨迹重新构建为多轮、多图像的对话形式。沿用 VLN-MME 评估框架（Zhao et al., 2025），将每一步导航建模为以多项选择题形式呈现的单步动作预测任务：智体接收由 Matterport3D 模拟器（Chang et al., 2017）渲染的全景观测中提取的四张视角图像（前、右、后、左），以及一组标有视觉标记（markers）的候选下一视点（作为选项），并从中选择正确的动作。用 Matterport3D 模拟器而非 Habitat 模拟器来渲染观测，因为前者能直接利用原始三维扫描数据生成更高清、更逼真的全景视图。与将动作数据分解为独立单步样本的做法不同，这种离散化建模方式允许将每条轨迹保持为完整的多轮对话形式，从而在对话上下文中保留完整的决策历史；这使得模型能够利用之前的对话轮次进行空间推理，而无需显式的历史编码模块。通过这一流程，纳入除 R2R 和 RxR 之外的其他 VLN 数据集：CVDN（Thomason et al., 2020），引入需要多轮语言基础（linguistic grounding）的对话条件导航；SOON（Zhu et al., 2021），针对具有细粒度空间目标描述的场景化面向对象导航；REVERIE（Qi et al., 2020），将远程指代表达与物体定位相结合；以及 SRDF（Wang et al., 2025c），通过跨多样化室内环境的自优化数据飞轮（self-refining data flywheel）构建大规模增强轨迹。这种方法能够显著扩展训练轨迹的数量及其语言多样性，同时保留单步建模方式通常会牺牲的多轮推理能力。

---

部署

针对 Qwen-RobotNav 的实际部署，探索了基于云端和设备端（on-device）的两种推理方案。在云端部署模式下，机器人通过网络将压缩后的观测数据和文本指令上传至远程服务器进行轨迹预测，并接收规划好的动作以执行。这种方案支持具备强大推理能力的大型模型及更快的服务器端推理，但也带来了通信开销，且依赖于网络的稳定性。在设备端部署模式下，推理任务直接在机器人搭载的 NVIDIA Jetson Thor 平台上运行；这消除了传输延迟并提高了鲁棒性，但同时也受到机载算力和带宽资源的限制。

综合考虑网络传输因素，远程服务器部署的平均端到端延迟仍低于设备端推理（分别为 196 毫秒/5.1 Hz 和 204 毫秒/4.9 Hz）。其代价是对网络状况更为敏感，导致延迟波动较大，并偶尔出现延迟激增的情况。设备端推理省去了网络传输环节，提供了更稳定的延迟表现，因此对于追踪（tracking）等对延迟敏感的任务而言，其鲁棒性更强。总体而言，远程服务器推理的平均速度更快，而设备端推理在实际部署中则表现出更高的稳定性和可靠性。