NVIDIA/cosmos-framework

NVIDIA Cosmos | 🤗 Cosmos 3

NVIDIA Cosmos 项目家族的一部分 —— 训练与服务框架仓库。

# Cosmos-Framework **Cosmos-Framework** 是一个用于训练和部署世界模型（包括 **Cosmos3** 模型家族）的端到端框架。所有内容都位于一个顶级的 [`cosmos_framework/`](./cosmos_framework) Python 包中： - **训练** — 分布式 FSDP / TP / CP / PP 训练器，原生 DCP 检查点，支持 HuggingFace `safetensors` 导入/导出，JSONL / WebDataset / LeRobot 数据集适配器。入口点：`cosmos_framework.scripts.train`。请参阅 [`docs/training.md`](./docs/training.md)。 - **推理** — 支持 Diffusers / Transformers / vLLM 后端，具备离线批量生成和在线服务（Ray + Gradio）功能。入口点：`cosmos_framework.scripts.inference`。面向生态系统的 shim 库（用于下游项目的轻量级独立封装）位于 [`packages/`](./packages) 目录下。 ## Cosmos 3 **Cosmos 3** 是我们最新的模型家族 [[报告]](https://research.nvidia.com/labs/cosmos-lab/cosmos3/technical-report.pdf) [[网站]](https://research.nvidia.com/labs/cosmos-lab/cosmos3/)。它是一套全模态世界模型，旨在以统一的混合 Transformers (Mixture-of-Transformers) 架构联合处理和生成语言、图像、视频、音频和动作序列。通过支持高度灵活的输入输出配置，它无缝统一了 Physical AI 的关键模态——将视觉语言模型、视频生成器、世界模拟器和世界动作模型有效地整合到了单一框架中。如需获取测试 Cosmos3 的引导体验，请访问 [[Cosmos]](https://github.com/nvidia/cosmos)。 ## 框架文档 - [快速入门](#setup) - [安装设置](./docs/setup.md) - [训练（监督微调）](./docs/training.md) - [JSONL 数据集](./docs/dataset_jsonl.md) - [推理](./docs/inference.md) - [Policy 服务器](./docs/action_policy_droid_server.md) - 参考 - [代码结构](./docs/code_structure.md) - [环境变量](./docs/environment_variables.md) - [常见问题解答](./docs/faq.md) - [AGENTS.md](./AGENTS.md) ## 安装设置 有关更多详细信息和替代安装方法，请参阅[安装设置](./docs/setup.md#installation)。在安装之前，请确保您的机器满足[系统要求](./docs/setup.md#system-requirements)。如果您想要一个精心策划的 PyTorch + CUDA 环境，请从[推荐的 NVIDIA NGC 基础镜像](./docs/setup.md#recommended-base-image)开始。 安装系统依赖项： ``` sudo apt-get install -y --no-install-recommends curl ffmpeg git-lfs libx11-dev tree wget ``` 使用 `uv` 安装该包（选择与您的 CUDA 工具包匹配的依赖组 —— 请参阅 [CUDA 变体](./docs/setup.md#cuda-variants))： ``` # CUDA 13.0（推荐） uv sync --all-extras --group=cu130-train # 或者，对于 CUDA 12.8： # uv sync --all-extras --group=cu128-train source .venv/bin/activate && export LD_LIBRARY_PATH= ``` 如果您是从推荐的 NGC 镜像 (`nvcr.io/nvidia/pytorch:25.09-py3`) 开始，请参阅[一键快速入门](./docs/setup.md#quickstart-from-the-recommended-base-image)。 ## 训练 有关完整指南（数据准备、基础检查点转换、并行策略、混合精度、恢复运行），请参阅[训练](./docs/training.md)。所需的 GPU 数量取决于具体的方案；[`examples/`](./examples/README.md) 下提供的方案均为 8 GPU 配置（已在 8× H100 80 GB 上测试），通过它们配套的启动脚本运行，例如： ``` bash examples/launch_sft_vision_nano.sh ``` 用户可以根据自己的模型和底层硬件架构调整 GPU 数量 —— 相应地调整方案中的 `NPROC_PER_NODE` 和并行度（DP/CP/FSDP 分片）。 ## 推理 有关完整指南 —— 启动命令、支持的模式、并行预设和故障排除，请参阅[推理](./docs/inference.md)。 快速单 GPU 启动： ``` python -m cosmos_framework.scripts.inference \ --parallelism-preset=latency \ -i "inputs/omni/t2v.json" \ -o outputs/omni_nano \ --checkpoint-path Cosmos3-Nano \ --seed=0 ``` ## Policy 服务器 完整指南请参阅 [Policy 服务器](./docs/action_policy_droid_server.md)。 ## 参考 | 主题 | 涵盖内容 | | ------------------------------------------------------------ | ------------------------------------------------------------------------------------------------------------------------ | | [安装设置](./docs/setup.md) | 软硬件前提条件、`uv` 安装路径、CUDA 变体、Docker 基础镜像以及基础检查点下载。 | | [代码结构](./docs/code_structure.md) | 仓库布局和 `cosmos_framework/` 的逐个子包导览 —— 每个功能模块的位置以及在哪里添加新代码。 | | [训练](./docs/training.md) | 启动多 GPU 和多节点运行；并行策略；混合精度；恢复运行。 | | [推理（基于训练好的检查点）](./docs/inference.md) | 将训练好的检查点加载到其中一个推理后端中。 | | [Policy 服务器](./docs/action_policy_droid_server.md) | 为 Cosmos3-Nano-Policy-DROID 运行服务器-客户端 pipeline。 | | [常见问题解答](./docs/faq.md) | 故障排除（OOM、NCCL 挂起、训练缓慢）、环境变量和常见陷阱。 |

标签：Vectored Exception Handling, 世界模型, 人工智能, 凭据扫描, 分布式训练, 多模态, 模型推理, 模型训练, 用户模式Hook绕过, 系统调用监控, 请求拦截, 逆向工具