NVlabs/GR00T-WholeBodyControl

# GR00T-WholeBodyControl 这是 **GR00T Whole-Body Control (WBC)** 项目的代码库。它托管了用于训练、评估和部署人形机器人高级全身控制器的模型检查点和脚本。我们目前支持： - **Decoupled WBC**：NVIDIA GR00T [N1.5](https://research.nvidia.com/labs/gear/gr00t-n1_5/) 和 [N1.6](https://research.nvidia.com/labs/gear/gr00t-n1_6/) 模型中使用的解耦控制器（下半身使用 RL，上半身使用 IK）； - **GEAR-SONIC Series**：我们最新一代的通用人形机器人全身控制器（参见我们的 [whitepaper](https://nvlabs.github.io/GEAR-SONIC/)）。 ## 目录 - [GEAR-SONIC](#gear-sonic) - [VR 全身遥操作](#vr-whole-body-teleoperation) - [运动规划器](#kinematic-planner) - [TODOs](#todos) - [包含内容](#whats-included) - [设置](#setup) - [文档](#documentation) - [引用](#citation) - [许可证](#license) - [支持](#support) - [Decoupled WBC](#decoupled-wbc) ## GEAR-SONIC

Website | Model | Paper | Docs

SONIC 是一个人形机器人行为基础模型，它赋予机器人从大规模人类运动数据中学习到的核心运动技能。SONIC 不再为预定义的动作构建单独的控制器，而是将运动跟踪作为一个可扩展的训练任务，使单个统一策略能够产生自然、全身的运动，并支持广泛的行为——从行走和爬行到遥操作和多模态控制。它旨在泛化到训练期间未见过的动作，并作为更高级规划和交互的基础。 在这个代码库中，我们将发布 SONIC 的训练代码、部署框架、模型检查点和用于数据收集的遥操作技术栈。 ## VR 全身遥操作 SONIC 支持通过 PICO VR 头显进行实时全身遥操作，实现自然的人机动作迁移，用于数据收集和交互控制。 ## 运动规划器 SONIC 包含一个用于实时运动生成的运动规划器——选择一种运动风格，使用键盘/游戏手柄进行转向，并即时调整速度和高度。 ## 待办事项 - [x] 发布预训练的 SONIC 策略检查点 - [x] 开源 C++ 推理技术栈 - [x] 设置文档 - [x] 开源遥操作技术栈和演示脚本 - [ ] 发布用于运动模仿和微调的训练脚本和配方 - [ ] 开源大规模数据收集工作流程和 VLA 微调脚本。 - [ ] 发布额外的预处理大规模人类运动数据集 ## 包含内容 本次发布包括： - **`gear_sonic_deploy`**：用于在真实硬件上部署 SONIC 策略的 C++ 推理技术栈 - **`gear_sonic`**：用于收集演示数据的遥操作技术栈（暂不包含训练代码。） ### 设置 使用 Git LFS 克隆代码库： ``` git clone https://github.com/NVlabs/GR00T-WholeBodyControl.git cd GR00T-WholeBodyControl git lfs pull ``` ## 文档 📚 **[完整文档](https://nvlabs.github.io/GR00T-WholeBodyControl/)** ### 入门指南 - [安装指南](https://nvlabs.github.io/GR00T-WholeBodyControl/getting_started/installation_deploy.html) - [快速开始](https://nvlabs.github.io/GR00T-WholeBodyControl/getting_started/quickstart.html) - [VR 遥操作设置](https://nvlabs.github.io/GR00T-WholeBodyControl/getting_started/vr_teleop_setup.html) ### 教程 - [键盘控制](https://nvlabs.github.io/GR00T-WholeBodyControl/tutorials/keyboard.html) - [游戏手柄控制](https://nvlabs.github.io/GR00T-WholeBodyControl/tutorials/gamepad.html) - [ZMQ 通信](https://nvlabs.github.io/GR00T-WholeBodyControl/tutorials/zmq.html) - [ZMQ Manager / PICO VR](https://nvlabs.github.io/GR00T-WholeBodyControl/tutorials/vr_wholebody_teleop.html) ### 最佳实践 - [遥操作](https://nvlabs.github.io/GR00T-WholeBodyControl/user_guide/teleoperation.html) ## 引用 如果您在研究中使用 GEAR-SONIC，请引用： ``` @article{luo2025sonic, title={SONIC: Supersizing Motion Tracking for Natural Humanoid Whole-Body Control}, author={Luo, Zhengyi and Yuan, Ye and Wang, Tingwu and Li, Chenran and Chen, Sirui and Casta\~neda, Fernando and Cao, Zi-Ang and Li, Jiefeng and Minor, David and Ben, Qingwei and Da, Xingye and Ding, Runyu and Hogg, Cyrus and Song, Lina and Lim, Edy and Jeong, Eugene and He, Tairan and Xue, Haoru and Xiao, Wenli and Wang, Zi and Yuen, Simon and Kautz, Jan and Chang, Yan and Iqbal, Umar and Fan, Linxi and Zhu, Yuke}, journal={arXiv preprint arXiv:2511.07820}, year={2025} } ``` ## 许可证 本项目采用双重许可： - **Source Code**：根据 Apache License 2.0 许可——适用于本代码库中的所有代码、脚本和软件组件 - **Model Weights**：根据 NVIDIA Open Model License 许可——适用于所有训练好的模型检查点和权重 有关完整的双重许可文本，请参阅 [LICENSE](LICENSE)。 在使用本项目之前，请仔细阅读这两个许可证。NVIDIA Open Model License 允许在注明出处的前提下进行商业使用，并要求遵守 NVIDIA 的 Trustworthy AI 条款。 所有必需的法律文件，包括 Apache 2.0 许可证、第三方声明和 DCO 措辞，均整理在本代码库的 /legal 文件夹中。 ## 支持 如有问题和疑问，请通过 [gear-wbc@nvidia.com](gear-wbc@nvidia.com) 联系 GEAR WBC 团队提供反馈！ ## Decoupled WBC 关于 GR00T N1.5 和 N1.6 模型中使用的 Decoupled WBC，请参阅 [Decoupled WBC 文档](docs/source/references/decoupled_wbc.md)。 ## 致谢 我们要感谢以下项目，本代码库中的部分代码源自这些项目： - [Beyond Mimic](https://github.com/HybridRobotics/whole_body_tracking) - [Isaac Lab](https://github.com/isaac-sim/IsaacLab)

标签：DNS解析, GEAR-SONIC, GR00T, IK, Isaac Lab, RL, Sim-to-Real, Vectored Exception Handling, VR遥操作, WBC, 人工智能, 人形机器人, 仿真环境, 全身控制, 具身智能, 动作控制, 双足机器人, 开源项目, 强化学习, 机器人控制, 模型部署, 深度学习, 用户模式Hook绕过, 运动规划, 逆向工具, 逆向运动学, 通用机器人