VLX-Go
用于具身导航的视觉-语言短时域路径点预测
English | 中文
概述视频：用于具身导航中视觉-语言短时域路径点预测的 VLX-Go。
https://github.com/user-attachments/assets/112a5a86-847b-4968-8469-c022bb20f75d
## 概述
VLX-Go 是一个用于具身导航的轻量级视觉-语言路径点规划器。给定近期的单目帧、当前观测以及自然语言指令，它可以预测短时域的局部路径点，这些路径点可以由仿真环境或实体机器人上的下游 controller 执行。
VLX-Go 没有依赖通用的 VLM 来描述场景或生成纯文本动作，而是将视觉-语言状态直接映射到紧凑的路径点接口。本仓库主要关注目标跟随、局部导航、动态避障以及闭环评估。
VLX-Go 基于 [OmTrackVLA](https://github.com/om-ai-lab/OmTrackVLA) 的技术方向构建，并将其扩展到轻量级路径点预测和闭环导航研究。
## 亮点
- **0.6B 路径点规划器：** 一种轻量级架构，可降低推理成本并简化部署。
- **基于指令的规划：** 自然语言指令用于指定任务意图，包括跟随、到达目的地和避障。
- **短时域路径点输出：** 模型预测局部运动目标，而不是完整的全局路线或纯文本响应。
- **时序视觉上下文：** 最近的帧有助于捕捉目标运动、遮挡变化和场景动态。
- **闭环评估：** 导航通过反复的观测、预测、执行和反馈进行评估。
## 任务
在每个时间步，VLX-Go 解决一个滚动时域的路径点预测问题。
**输入**
- 最近的视觉历史记录：`H_t = {I_{t-k}, ..., I_{t-1}}`
- 当前帧：`I_t`
- 指令：`q`，例如，“跟随目标人物并避开障碍物”
**输出**
- 短时域路径点序列：`W_t = {w_1, ..., w_T}`
在这里，每个 `w_i` 表示一个局部运动目标，例如位置、朝向或 controller 使用的另一种路径点表示。具体的维度取决于数据集和控制接口。
```
history frames + current frame + instruction
|
v
VLX-Go waypoint planner
|
v
short-horizon waypoints -> controller / simulator
```
## 方法
VLX-Go 将路径点规划与特定平台的底层控制分离开来。规划器预测短时域的局部目标，而下游 controller 负责处理速度命令、安全约束和动力学。
| 阶段 | 描述 |
| --- | --- |
| 视觉编码 | 将当前帧和最近的视觉历史记录编码为视觉特征 |
| 语言条件 | 使用指令作为规划的任务条件 |
| 路径点预测 | 使用 0.6B 规划器预测短时域的局部运动目标 |
| 闭环执行 | 执行预测的路径点，收集下一个观测，并预测下一段路径 |
这种滚动时域设计适用于动态场景：目标可能会移动，障碍物可能会进入摄像头视野，而早期的预测可以通过新的观测来纠正。
## 训练
VLX-Go 首先通过离线轨迹数据进行训练，然后可以通过在线仿真器的反馈进行优化。
| 阶段 | 数据 / 信号 | 目标 |
| --- | --- | --- |
| 离线轨迹学习 | 演示轨迹、视频帧、语言指令 | 学习目标跟随和局部路径点生成 |
| 在线优化 | 仿真器反馈、碰撞信号、目标状态、奖励信号 | 提高对遮挡、障碍物和闭环漂移的鲁棒性 |
典型的监督目标包括路径点回归、轨迹方向损失、可选的速度或动作辅助损失以及平滑度正则化。在线阶段通过让策略接触到离线轨迹数据可能无法涵盖的执行时反馈，来补充监督学习。
## 评估
VLX-Go 在 EVT-Bench 的 STT 任务上进行评估。
| 模型 | 参数量 | STT SR ↑ | STT TR ↑ | STT CR ↓ |
| --- | --- | ---: | ---: | ---: |
| TrackVLA | 7B | 85.1 | 78.6 | **1.65** |
| NavFoM | 7B | 85.0 | 80.5 | - |
| Qwen-RobotNav-4B | 4B | 77.4 | 90.0 | 6.4 |
| Qwen-RobotNav-8B | 8B | 78.6 | 89.7 | 5.7 |
| **VLX-Go** | **0.6B** | **85.42** | **94.08** | 6.55 |
**评估指标：** SR 是成功率，TR 是跟踪率，CR 是碰撞率。在 0.6B 规模下，VLX-Go 取得了很高的成功率和跟踪率。进一步降低碰撞率仍然是一个重要的方向，特别是通过仿真器、奖励、controller 和安全约束的调优。
## 模型权重
即将推出。
## 数据集
即将推出。