LingBot-VA：用于机器人控制的因果世界建模
https://github.com/user-attachments/assets/cec7b7a6-953b-4fa4-8f1a-47efc1fce547
## 目录
- [新闻](#-news)
- [模型下载](#-model-download)
- [快速开始](#️-quick-start)
- [安装](#installation)
- [attn_mode 配置](#️-important-attn_mode-configuration)
- [部署 LingBot-VA 进行推理](#deploying-lingbot-va-for-inference)
- [在 RoboTwin-2.0 上评估](#evaluation-on-robotwin-20)
- [在 LIBERO 上评估](#evaluation-on-libero)
- [运行图像到视频-动作生成](#run-image-to-video-action-generation)
- [LingBot-VA 后训练](#post-training-lingbot-va)
- [数据准备](#data-preparation)
- [自定义数据集准备](#custom-dataset-preparation)
- [训练](#training)
- [性能](#-performance)
- [仿真评估](#simulation-evaluation)
- [真实世界部署](#real-world-deployment)
- [许可证](#-license)
- [引用](#citation)
- [致谢](#-acknowledgments)
## 💫 认识 **LingBot-VA**！我们构建了一个 AR diffusion 框架，用于同步进行世界建模和动作生成！ 🤖✨
**LingBot-VA** 主要专注于：
- **自回归视频-动作世界建模**：在架构上将视觉动态预测和动作推理统一在一个单一的交错序列中，同时保持它们概念上的区别。
- **高效执行**：采用双流混合 Transformer (MoT) 架构，结合异步执行和 KV Cache。
- **长时序性能和泛化能力**：在样本效率、长时序成功率以及对新场景的泛化能力方面均有大幅提升。
# 🚀 新闻
- **[2026-04-24]** 基于 **LIBERO-LONG** 的后训练权重已发布！（**重要提示**：请确保 [`wan_va/configs/va_libero_cfg.py`](wan_va/configs/va_libero_cfg.py) 中的 `va_libero_cfg.action_snr_shift`、`va_libero_cfg.used_action_channel_ids` 和 `va_libero_cfg.norm_stat` 与仓库的最新版本同步。）
- **[2026-04-08]** **LIBERO** 数据集的后训练和推理代码现已可用！
- **[2026-02-17]** 后训练代码和数据集已发布！支持在自定义机器人操作数据集上微调 LingBot-VA。
- **[2026-01-29]** 共享骨干网络的权重和代码已发布！请持续关注我们的分离版本！
# 📦 模型下载
- **用于后训练的预训练 Checkpoints**
| 模型名称 | Huggingface 仓库 | ModelScope 仓库 | 描述 |
| :--- | :--- | :--- | :--- |
| lingbot-va-base | [🤗 robbyant/lingbot-va-base ](https://huggingface.co/robbyant/lingbot-va-base) | [🤖 Robbyant/lingbot-va-base ](https://modelscope.cn/models/Robbyant/lingbot-va-base) | 使用共享骨干网络的 LingBot-VA|
| lingbot-va-posttrain-robotwin | [🤗 robbyant/lingbot-va-posttrain-robotwin ](https://huggingface.co/robbyant/lingbot-va-posttrain-robotwin) | [🤖 Robbyant/lingbot-va-posttrain-robotwin ](https://modelscope.cn/models/Robbyant/lingbot-va-posttrain-robotwin) | 使用共享骨干网络的 LingBot-VA-Posttrain-Robotwin|
| lingbot-va-posttrain-libero-long | [🤗 robbyant/lingbot-va-posttrain-libero-long ](https://huggingface.co/robbyant/lingbot-va-posttrain-libero-long) | [🤖 Robbyant/lingbot-va-posttrain-libero-long ](https://modelscope.cn/models/Robbyant/lingbot-va-posttrain-libero-long) | 使用共享骨干网络的 LingBot-VA-Posttrain-LIBERO-LONG|
- **后训练数据集**
## | 数据集名称 | Huggingface 仓库 | ModelScope 仓库 | 描述 |
| :--- | :--- | :--- | :--- |
| robotwin-clean-and-aug-lerobot | [🤗 robbyant/robotwin-clean-and-aug-lerobot](https://huggingface.co/datasets/robbyant/robotwin-clean-and-aug-lerobot) | [🤖 Robbyant/robotwin-clean-and-aug-lerobot](https://modelscope.cn/datasets/Robbyant/robotwin-clean-and-aug-lerobot) | 经过清理和增强的 LeRobot 格式 RoboTwin 数据集，用于后训练 |
| libero-long-lerobot | [🤗 robbyant/libero-long-lerobot](https://huggingface.co/datasets/robbyant/libero-long-lerobot) | [🤖 Robbyant/libero-long-lerobot](https://modelscope.cn/datasets/Robbyant/libero-long-lerobot) | LeRobot 格式的 LIBERO-Long 数据集，用于后训练 |
# 🛠️ 快速开始
## 安装
**环境要求**
• Python == 3.10.16
• Pytorch == 2.9.0
• CUDA 12.6
```
pip install torch==2.9.0 torchvision==0.24.0 torchaudio==2.9.0 --index-url https://download.pytorch.org/whl/cu126
pip install websockets einops diffusers==0.36.0 transformers==4.55.2 accelerate msgpack opencv-python matplotlib ftfy easydict
pip install flash-attn --no-build-isolation
```
## ⚠️ 重要提示：`attn_mode` 配置
## 部署 LingBot-VA 进行推理
LingBot-VA 支持独立执行和 Server-Client 架构，后者将模型环境与仿真分离。通过隔离依赖项，这种设计避免了包冲突，并支持在 GPU、集群和其他设备上进行分布式推理。
* 所有指标均以百分比 (%) 报告。较高的值已加 粗体。
| 方法 (平均 50 个任务) |
简单 SR (%) |
困难 SR (%) |
| X-VLA |
72.9 |
72.8 |
| π0 |
65.9 |
58.4 |
| π0.5 |
82.7 |
76.8 |
| Motus |
88.7 |
87.0 |
| LingBot-VA (我们的) |
92.9 (+4.2) |
91.6 (+4.6) |
- **LIBERO**
* 所有指标均以百分比 (%) 报告。较高的值已加 粗体。
| 方法 |
Spatial |
Object |
Goal |
Long |
平均 |
| π0 |
96.8 | 98.8 | 95.8 | 85.2 | 94.1 |
| π0.5 |
98.8 | 98.2 | 98.0 | 92.4 | 96.9 |
| OpenVLA |
84.7 | 88.4 | 79.2 | 53.7 | 76.5 |
| X-VLA |
98.2 | 98.6 | 97.8 | 97.6 | 98.1 |
| LingBot-VA (我们的) |
98.5 ± 0.3 |
99.6 ± 0.3 |
97.2 ± 0.2 |
98.5 ± 0.5 |
98.5 |
## 真实世界部署
分为三个类别的六个操作任务：长时序任务（做早餐、挑选螺丝），精确任务（插入管子、拆包快递），以及可变形和铰接体物体操作（叠衣服、叠裤子）。我们的方法在两项指标（进度率和成功率）上均实现了最先进的性能，且每个任务仅进行了
50 次试验，大幅超越了强大的基线 π
0.5。
进度分数 (PS)： 所有试验的平均分数除以可能的最高分数，以百分比表示：
PS = Average_Progress / Max_Steps × 100%
成功率 (SR)： 成功的试验次数除以总试验次数，以百分比表示：
SR = Successful_Trials / N × 100%
* 所有指标均以百分比 (%) 报告。较高的值已加 粗体。
| 任务 |
做早餐 |
挑选螺丝 |
插入管子 |
拆包快递 |
叠衣服 |
叠裤子 |
| PS |
SR |
PS |
SR |
PS |
SR |
PS |
SR |
PS |
SR |
PS |
SR |
| π0.5 |
73.0 | 70.0 |
74.0 | 50.0 |
79.2 | 30.0 |
73.0 | 25.0 |
62.9 | 30.0 |
30.0 | 30.0 |
| Ling-VA (我们的) |
97.0 | 75.0 |
82.5 | 70.0 |
85.8 | 40.0 |
84.5 | 65.0 |
48.8 | 35.0 |
76.7 | 70.0 |
# 🪪 许可证
本项目基于 Apache License 2.0 发布。有关详细信息，请参阅 [LICENSE](LICENSE.txt) 文件。
# 📚引用
```
@article{lingbot-va2026,
title={Causal World Modeling for Robot Control},
author={Li, Lin and Zhang, Qihang and Luo, Yiming and Yang, Shuai and Wang, Ruilin and Han, Fei and Yu, Mingrui and Gao, Zelin and Xue, Nan and Zhu, Xing and Shen, Yujun and Xu, Yinghao},
journal={arXiv preprint arXiv:2601.21998},
year={2026}
}
```
# 🧩 致谢
这项工作建立在几个优秀的开源项目之上：
- [Wan-Video](https://github.com/Wan-Video) - 视觉 transformer 骨干网络
- [MoT](https://github.com/facebookresearch/Mixture-of-Transformers) - 混合 Transformer (Mixture-of-Transformers) 架构
- 更广泛的开源计算机视觉和机器人社区
如有任何问题、讨论或合作意向：
- **问题**：在 GitHub 上提出一个 [issue](https://github.com/robbyant/lingbot-va/issues)
- **邮箱**：联系 [Qihang Zhang](https://zqh0253.github.io/) 博士 (liuhuan.zqh@antgroup.com) 或 [Lin Li](https://lilin-hitcrt.github.io/) 博士 (fengchang.ll@antgroup.com)