Robbyant/lingbot-world-v2

GitHub: Robbyant/lingbot-world-v2

LingBot-World 2.0 是一个支持无限视野与多样化实时交互的生成式世界模型,通过因果预训练与模型蒸馏实现了高帧率、可交互的视频内容生成。

Stars: 1131 | Forks: 66

无限世界与多样化交互

Robbyant Team
[![Page](https://img.shields.io/badge/%F0%9F%8C%90%20Project%20Page-Demo-00bfff)](https://technology.robbyant.com/lingbot-world-v2) [![Tech Report](https://img.shields.io/static/v1?label=Paper&message=PDF&color=red&logo=arxiv)](https://arxiv.org/abs/2607.07534) [![Model](https://img.shields.io/static/v1?label=%F0%9F%A4%97%20Model&message=HuggingFace&color=yellow)](https://huggingface.co/robbyant/lingbot-world-v2-14b-causal-fast) [![Model](https://img.shields.io/static/v1?label=%F0%9F%A4%96%20Model&message=ModelScope&color=purple)](https://modelscope.cn/models/Robbyant/lingbot-world-v2-14b-causal-fast) [![License](https://img.shields.io/badge/License-CC%20BY--NC--SA%204.0-green)](LICENSE.txt)
我们推出了 **LingBot-World 2.0**(也称为 **LingBot-World-Infinity**),这是 [LingBot-World](https://technology.robbyant.com/lingbot-world) 的进阶版本,包含四项重要升级。 - **无界交互视野**:得益于精心设计的 causal 预训练范式,我们的模型在保持稳定输出质量的同时,实现了无界的交互视野。 - **极速响应时间**:通过从基础模型中蒸馏出实时变体,我们的系统确保了极速的响应时间,足以驱动 60 fps 的 720p 视频流。 - **高度多样化的交互元素**:与上一版本相比,本次更新引入了高度多样化的交互元素,涵盖了更广泛的动作(*例如*攻击、射箭、施法和射击),以及更丰富的文本驱动事件。 - **Agentic Harness**:我们在世界模型领域率先集成了 agentic harness,其中 pilot agent 负责规划和执行角色行为,而 director agent 则负责随着场景的推进合成新的环境元素。 ## 🚀 立即体验 - **国际(Web)**:在 [Reactor](https://www.reactor.inc/lingbot-world-v2) 上体验。 - **国内(移动端)**:在 [LingGuang](https://www.lingguang.com/support) 上体验。 ## 🎬 Demo 画廊

✨ 如需了解更多高保真且引人入胜的 demo,请访问我们的项目主页

## 🔥 最新动态 - 2026年7月9日:🎉 我们发布了 LingBot-World-Infinity 的技术报告、推理代码和模型。 ## 📋 TODO - [x] 发布 14B 模型的 causal-fast 推理代码和模型 - [ ] 发布 14B 模型的 causal-pretrained 模型 - [ ] 发布 14B 模型的双向模型 - [ ] 发布 1.3B 模型的 causal-fast 和 causal-pretrained 模型 ## ⚙️ 快速开始 本代码库基于 [Wan2.2](https://github.com/Wan-Video/Wan2.2) 构建。有关安装说明,请参阅其文档。 ### 安装 克隆仓库: ``` git clone https://github.com/robbyant/lingbot-world-v2.git cd lingbot-world-v2 ``` 安装依赖项: ``` # 确保 torch >= 2.4.0 pip install -r requirements.txt ``` 安装 [`flash_attn`](https://github.com/Dao-AILab/flash-attention): ``` pip install flash-attn --no-build-isolation ``` ### 模型下载 | 模型 | 模型类型 | 模型大小 | 下载链接 | | :--- | :--- | :--- | :--- | | **lingbot-world-v2-14b-causal-fast** | causal-fast | 14B | 🤗 [HuggingFace](https://huggingface.co/robbyant/lingbot-world-v2-14b-causal-fast) 🤖 [ModelScope](https://www.modelscope.cn/models/Robbyant/lingbot-world-v2-14b-causal-fast) | | **lingbot-world-v2-14b-causal-pretrain** | causal-pretrain | 14B | TODO | 使用 huggingface-cli 下载模型: ``` pip install "huggingface_hub[cli]" huggingface-cli download robbyant/lingbot-world-v2-14b-causal-fast --local-dir ./lingbot-world-v2-14b-causal-fast ``` 使用 modelscope-cli 下载模型: ``` pip install modelscope modelscope download robbyant/lingbot-world-v2-14b-causal-fast --local_dir ./lingbot-world-v2-14b-causal-fast ``` ### 推理 我们提供了 `generate.py` 用于带 KV caching 的 causal 推理,它会逐块处理视频帧,而不是一次性处理所有帧。