LingBot-VLA 2.0：从基础到应用

## 概述 **LingBot-VLA 2.0** 是一个实用的 Vision-Language-Action 基础模型，旨在从大规模预训练迈向可靠的现实世界机器人应用。 与 LingBot-VLA 1.0 相比，LingBot-VLA 2.0 提升了三个核心能力： - **跨任务和跨本体的泛化能力**：重新设计的数据 pipeline 精心筛选了约 **60,000 小时** 的预训练数据，其中包括涵盖 **20 种机器人配置** 的 **50,000 小时** 机器人轨迹和 **10,000 小时** 的第一人称视角人类视频。 - **扩展的 action 空间**：统一的表示支持机械臂、末端执行器、夹爪、灵巧手、腰部、头部和移动底盘信号，而不仅仅是标准的双臂操作。 - **预测性动力学建模**：使用未来预测作为代理任务，DINO-Video 提供语义时间先验，LingBot-Depth 提供几何线索。

## 最新消息 - **[2026-07-08]** LingBot-VLA 2.0 技术报告和预训练权重已准备就绪。 ## 安装 环境要求： - Miniconda 或 Anaconda - Python 3.12 - PyTorch 2.8.0 在运行安装脚本之前，请确保你的 shell 中已初始化 Conda，并且 `conda activate` 可以正常工作。 ``` git clone https://github.com/Robbyant/lingbot-vla-v2.git cd lingbot-vla-v2 bash tools/create_train_env.sh ``` 默认情况下，脚本会通过 pip 安装 `flash-attn==2.8.3`。如果你已经有匹配的本地 wheel 安装包，请显式指定它： ``` bash tools/create_train_env.sh \ --flash-attn-wheel /path/to/flash_attn-2.8.3+cu12torch2.8cxx11abiTRUE-cp312-cp312-linux_x86_64.whl ``` 你也可以选择环境名称或强制重新构建： ``` bash tools/create_train_env.sh \ --env-name lingbotvla \ --recreate ``` ## 模型下载 我们将 **LingBot-VLA 2.0** 预训练权重作为原生深度模型发布。 | 模型名称 | Hugging Face | ModelScope | 描述 | | :--- | :---: | :---: | :---: | | LingBot-VLA 2.0 | [lingbot-vla-v2-6b](https://huggingface.co/robbyant/lingbot-vla-v2-6b) | [lingbot-vla-v2-6b](https://modelscope.cn/models/Robbyant/lingbot-vla-v2-6b) | 原生深度 | 要使用此代码库训练 LingBot-VLA 2.0，还需要来自 [Qwen3-VL-4B-Instruct](https://huggingface.co/Qwen/Qwen3-VL-4B-Instruct)、[MoGe-2-vitb-normal](https://huggingface.co/Ruicheng/moge-2-vitb-normal)、[LingBot-Depth](https://huggingface.co/robbyant/lingbot-vla-v2-6b/tree/main/depth) 和 [DINO-VIDEO](https://huggingface.co/robbyant/lingbot-vla-v2-6b/tree/main/dino_video) 的 teacher checkpoint/config 权重。详情请参阅 [Training_Config.md](configs/vla/Training_Config.md)。 ``` python3 scripts/download_hf_model.py --repo_id robbyant/lingbot-vla-v2-6b --local_dir lingbot-vla ``` ## 预训练数据 LingBot-VLA 2.0 使用了一个庞大且多样化的预训练数据集，涵盖单臂、双臂、半人形、人形以及第一人称视角的数据源。

原始数据池经过筛选，分为高质量的机器人和第一人称视角视频流。机器人部分移除了视频与状态不同步、视频模糊或被遮挡、多视角未对齐、速度/加速度/急动度异常以及静默信号的片段。第一人称视角部分保留了以操作为中心的视频，重建并标准化了手部轨迹，并过滤了不稳定的相机或手部运动估计。

## 模型设计 ### 统一的 Action 表示 LingBot-VLA 2.0 将异构本体映射到一个 55 维的规范状态/动作向量： - 14 维用于机械臂关节位置 - 14 维用于末端执行器位姿 - 2 维用于夹爪位置 - 12 维用于手部关节位置 - 4 维用于腰部位置 - 2 维用于头部位置 - 3 维用于移动信号 - 4 个预留维度

### MoE Action 专家 为了提高跨本体的扩展性，LingBot-VLA 2.0 在 action 专家内部使用了稀疏的 MoE 层。细粒度的专家分割和共享专家隔离，使得通用先验与特定本体/任务模式能够在相同的活跃计算预算下共存。

### 双重 Query 蒸馏 LingBot-VLA 2.0 在视觉/文本 token 后附加了当前和未来的感知 query。这些 query 从 LingBot-Depth 和 DINO-Video 蒸馏而来，促使因果推理能够同时捕捉当前的场景几何结构和未来的场景演变。

## Post-Training 示例 ### 数据准备 Post-Training 需要三个准备步骤。有关自定义数据集的完整指南，请参阅 [自定义数据指南](lingbotvla/data/vla_data/README.md)。 | 步骤 | 描述 | 输出 | |------|-------------|--------| | 1. 准备 LeRobot 数据集 | 准备一个 LeRobot v2.1 或 v3.0 数据集目录 | LeRobot 数据集目录 | | 2. 准备机器人配置 | 定义从原始状态/动作/图像到统一特征空间的特征映射 | `configs/robot_configs/.yaml` | | 3. 计算归一化统计信息 | 计算数据集上的归一化统计数据 | `assets/norm_stats/.json` | 下面我们以使用干净和随机化数据一起训练的 **RoboTwin 2.0** 50 个任务为例。 ### 训练 我们提供了一个在包含干净和随机化数据的 RoboTwin 2.0 50 个任务上进行 **LingBot-VLA 2.0** Post-Training 的示例： ``` bash train.sh tasks/vla/train_lingbotvla.py ./configs/vla/robotwin/robotwin.yaml \ --data.train_path assets/training_data/robotwin.txt \ --data.data_name multi \ --train.output_dir output/ ``` Post-Training 配置使用了基于序列的辅助 loss（`sequence_wise_mode: "per_sequence"`，`sequence_wise_loss_coeff: 1e-3`），并结合用于 MoE 路由的 z-loss（`router_z_loss_coeff: 1e-4`）。可以根据下游任务调整或禁用这些项。要使用无损路由设置，请注释掉基于序列的辅助 loss 和 z-loss 选项，并设置 `bias_update_speed: 0.00025`。 Post-Training 配置还启用了 Muon optimizer。Muon 可以产生收敛得更好的 loss，但会增加训练时间。要改用默认的 AdamW optimizer，请注释掉 `optimizer: muon`。 对于真实世界场景，请参阅原生深度训练配置 [real_robot.yaml](configs/vla/real_robot/real_robot.yaml)。有关 batch size、梯度累积、checkpointing、深度/视频蒸馏、MoE 和 optimizer 设置的详细说明，请参阅 [Training_Config.md](configs/vla/Training_Config.md)。 ## 评估与部署 ### 开环评估 ``` export QWEN3_PATH=Qwen/Qwen3-VL-4B-Instruct python scripts/open_loop_eval.py \ --model_path path_to_posttraining_ckpt \ --robo_name robotwin \ --data_path path_to_validation_data \ --use_length 50 ``` `--robo_name` 是开环评估所必需的。它会从 `configs/robot_configs/{robo_name}.yaml` 中选择机器人配置，例如 `--robo_name robotwin` 会使用 `configs/robot_configs/robotwin.yaml`。 ### RoboTwin 部署 在使 RoboTwin 仿真依赖与模型推理依赖在单个环境中兼容后，我们为所有 50 个 RoboTwin 2.0 任务提供了一行评估脚本： ``` QWEN3VL_PATH=/path/to/Qwen3-VL-4B-Instruct/ \ EVAL_WORKDIR=/path/to/Robotwin_code/ \ bash experiment/robotwin/start_robotwin_infer_and_eval.sh \ --model_path /path/to/your/post_training_checkpoint \ --output_base /path/to/your/eval_output \ --num_per_gpu 2 ``` `num_per_gpu` 指定了每个 GPU 上可以并发评估的任务数量。请根据你可用的 GPU 显存和机器可承受的通信负载进行调整。 ### 真机部署 ``` export QWEN3VL_PATH=path_to_Qwen3-VL-4B-Instruct python -m deploy.lingbot_vla_v2_policy \ --model_path path_to_posttraining_ckpt \ --use_compile \ --use_length 25 \ --port port ``` 使用 `deploy.lingbot_vla_v2_policy`，在 NVIDIA GeForce RTX 4090D 上执行一次推理调用，在 **10 个去噪步骤** 下大约需要 **130 毫秒**。 ## 性能 LingBot-VLA 2.0 在 GM-100 双臂操作和长时间跨度移动操作中以通用模型设定进行了评估。指标在适用情况下以进度分数 / 成功率的形式报告。 ### GM-100 双臂操作 | 平台 | GR00T N1.7 | π0.5 | LingBot-VLA-1.0 | LingBot-VLA 2.0 | | :--- | ---: | ---: | ---: | ---: | | AgileX Cobot Magic | 36.3 / 17.8 | 59.1 / 32.2 | 58.2 / 30.0 | **66.2 / 34.4** | | Galaxea R1Pro | 16.4 / 5.6 | 27.4 / 8.9 | 32.7 / **15.6** | **34.6 / 15.6** |

### 长时间跨度移动操作 | 本体 | 任务 | 设定 | LingBot-VLA 2.0 | π_{0.5 | | :--- | :--- | :--- | ---: | ---: | | Astribot S1 | 冰箱分类 | 域内 | **77.1 / 60.0** | 65.3 / 46.7 | | Astribot S1 | 冰箱分类 | 域外 | **37.0 / 13.3** | 30.3 / 6.7 | | Cobot Magic-ARX X5 | 炉灶清洁 | 域内 | **84.3 / 66.7** | 79.9 / 60.0 | | Cobot Magic-ARX X5 | 炉灶清洁 | 域外 | **67.5 / 40.0** | 62.5 / 33.3 | ## 引用 如果你觉得我们的工作对你的研究有帮助，请引用： ``` @article{lingbotvla2, title={From Foundation to Application: Improving VLA Models in Practice}, author={Wei Wu and Fangjing Wang and Fan Lu and He Sun and Shi Liu and Yunnan Wang and Yibin Yan and Yong Wang and Shuailei Ma and Xinyang Wang and Yibin Liu and Shuai Yang and Tianxiang Zhou and Kejia Zhang and Lei Zhou and Cheng Su and Nan Xue and Bin Tan and Han Zhang and Youchao Zhang and Fei Liao and Xing Zhu and Yujun Shen and Kecheng Zheng}, journal={arXiv preprint arXiv:2607.06403}, year={2026} } ``` ## 许可证 该项目基于 [Apache-2.0 License](LICENSE) 授权。 ## 致谢}

标签：IaC 扫描, 人工智能, 具身智能, 凭据扫描, 基础模型, 机器人, 深度学习, 用户模式Hook绕过, 视觉-语言-动作模型, 逆向工具