Lightricks/ComfyUI-LTXVideo

GitHub: Lightricks/ComfyUI-LTXVideo

为ComfyUI提供LTX-2视频生成模型的高级扩展节点集合,支持文本/图像生成视频、多条件控制及两阶段上采样。

Stars: 3218 | Forks: 329

# ComfyUI-LTXVideo [![GitHub](https://img.shields.io/badge/LTX-Repo-blue?logo=github)](https://github.com/Lightricks/LTX-2) [![Website](https://img.shields.io/badge/Website-LTX-181717?logo=google-chrome)](https://ltx.io/model) [![Model](https://img.shields.io/badge/HuggingFace-Model-orange?logo=huggingface)](https://huggingface.co/Lightricks/LTX-2.3) [![LTXV Trainer](https://img.shields.io/badge/LTX-Trainer%20Repo-9146FF)](https://github.com/Lightricks/LTX-2/tree/main/packages/ltx-trainer) [![Demo](https://img.shields.io/badge/Demo-Try%20Now-brightgreen?logo=vercel)](https://app.ltx.studio/ltx-2-playground/i2v) [![Paper](https://img.shields.io/badge/Paper-arXiv-B31B1B?logo=arxiv)](https://videos.ltx.io/LTX-2/grants/LTX_2_Technical_Report_compressed.pdf) [![Discord](https://img.shields.io/badge/Join-Discord-5865F2?logo=discord)](https://discord.gg/ltxplatform) 一组强大的自定义节点集合,旨在扩展 ComfyUI 对 LTX-2 视频生成模型的支持能力。 LTX-2 已集成到 ComfyUI 核心([查看此处](https://github.com/comfyanonymous/ComfyUI/tree/master/comfy/ldm/lightricks)),所有 ComfyUI 用户均可直接使用。本仓库托管了额外的节点和工作流,助您充分利用 LTX-2 的高级功能。 **欲了解更多关于 LTX-2 的信息**,请查看 [LTX-2 主仓库](https://github.com/Lightricks/LTX-2)以获取模型详情和更多资源。 ## 前置条件 在 ComfyUI 中开始使用 LTX-2 工作流之前,请确保您具备以下条件: * 已安装 ComfyUI(在此下载](https://www.comfy.org/download)) * 拥有 32GB+ 显存的 CUDA 兼容 GPU * 100GB+ 的可用磁盘空间(用于存放模型和缓存) ## 快速开始 🚀 我们推荐使用 Comfy Manager 中提供的 LTX-2 工作流。 1. 打开 ComfyUI 2. 点击 Manager 按钮(或按 Ctrl+M) 3. 选择 Install Custom Nodes 4. 搜索 “LTXVideo” 5. 点击 Install 6. 等待安装完成 7. 重启 ComfyUI 节点将出现在您的节点菜单中的 “LTXVideo” 类别下。所需的模型将在首次使用时自动下载。 ## 示例工作流 ComfyUI-LTXVideo 安装包中包含几个示例工作流。 您可以在以下位置查看所有内容: ``` ComfyUI/custom_nodes/ComfyUI-LTXVideo/example_workflows/ ``` LTX-2.3 工作流: * [`文本/图像生成视频 完整/蒸馏模型;单阶段`](./example_workflows/2.3/LTX-2.3_T2V_I2V_Single_Stage_Distilled_Full.json) * [`文本/图像生成视频 蒸馏模型;两阶段(含上采样)`](./example_workflows/2.3/LTX-2.3_T2V_I2V_Two_Stage_Distilled.json) * [`IC-LoRA 蒸馏模型 深度 + 人体姿态 + 边缘`](./example_workflows/2.3/LTX-2.3_ICLoRA_Union_Control_Distilled.json) * [`IC-LoRA 蒸馏模型 I2V 运动追踪`](./example_workflows/2.3/LTX-2.3_ICLoRA_Motion_Track_Distilled.json) 旧版工作流 (LTX-2.0): * [`文本生成视频 完整模型`](./example_workflows/2.0/LTX-2_T2V_Full_wLora.json) * [`文本生成视频 蒸馏模型 (快速)`](./example_workflows/2.0/LTX-2_T2V_Distilled_wLora.json) * [`图像生成视频 完整模型`](./example_workflows/2.0/LTX-2_I2V_Full_wLora.json) * [`图像生成视频 蒸馏模型 (快速)`](./example_workflows/2.0/LTX-2_I2V_Distilled_wLora.json) * [`视频生成视频 细化器`](./example_workflows/2.0/LTX-2_V2V_Detailer.json) * [`IC-LoRA 蒸馏模型(深度 + 人体姿态 + 边缘)`](./example_workflows/2.0/LTX-2_ICLoRA_All_Distilled.json) * [`IC-LoRA 蒸馏模型 配合降采样参考 Latent`](./example_workflows/2.0/LTX-2_ICLoRA_All_Distilled_ref0.5.json) ## Union IC-LoRA 模型 我们引入了一个新的 **Union IC-LoRA** 模型,它将深度和边缘控制条件结合到一个统一的 LoRA 中。 ### 关键特性 - **统一控制**:单个 LoRA 支持多种控制条件(深度或边缘)。 - **降采样 Latent 处理**:联合 LoRA 在降采样后的 Latent 尺寸上运行,这减少了显存占用并显著加快了推理速度,同时保持了质量。 ### 工作原理 联合 LoRA 经过训练,能够在单个模型中理解并响应两种控制信号(深度图和边缘图)。该模型学会了: 1. **解析多种条件**:识别输入中存在的控制信号 2. **在降低的分辨率下处理**:在降采样后的 Latent 上工作以提高效率 ## 必需模型 下载以下模型: **LTX-2.3 模型 Checkpoint** - 选择并下载以下模型之一到 `COMFYUI_ROOT_FOLDER/models/checkpoints` 文件夹。 * [`ltx-2.3-22b-dev.safetensors`](https://huggingface.co/Lightricks/LTX-2.3/blob/main/ltx-2.3-22b-dev.safetensors) * [`ltx-2.3-22b-distilled.safetensors`](https://huggingface.co/Lightricks/LTX-2.3/blob/main/ltx-2.3-22b-distilled.safetensors) **空间上采样器** - 本仓库中当前的两阶段 Pipeline 实现所需。下载到 `COMFYUI_ROOT_FOLDER/models/latent_upscale_models` 文件夹。 * [`ltx-2.3-spatial-upscaler-x2-1.0.safetensors`](https://huggingface.co/Lightricks/LTX-2.3/blob/main/ltx-2.3-spatial-upscaler-x2-1.0.safetensors) * [`ltx-2.3-spatial-upscaler-x1.5-1.0.safetensors`](https://huggingface.co/Lightricks/LTX-2.3/blob/main/ltx-2.3-spatial-upscaler-x1.5-1.0.safetensors) **时间上采样器** - 本仓库中当前的两阶段 Pipeline 实现所需。下载到 `COMFYUI_ROOT_FOLDER/models/latent_upscale_models` 文件夹。 * [`ltx-2.3-temporal-upscaler-x2-1.0.safetensors`](https://huggingface.co/Lightricks/LTX-2.3/blob/main/ltx-2.3-temporal-upscaler-x2-1.0.safetensors) **蒸馏 LoRA (Distilled LoRA)** - 本仓库中当前的两阶段 Pipeline 实现所需(DistilledPipeline 和 ICLoraPipeline 除外)。下载到 `COMFYUI_ROOT_FOLDER/models/loras` 文件夹。 * [`ltx-2.3-22b-distilled-lora-384.safetensors`](https://huggingface.co/Lightricks/LTX-2.3/blob/main/ltx-2.3-22b-distilled-lora-384.safetensors) **Gemma 文本编码器** 将仓库中的所有文件下载到 `COMFYUI_ROOT_FOLDER/models/text_encoders/gemma-3-12b-it-qat-q4_0-unquantized`。 * [`Gemma 3`](https://huggingface.co/google/gemma-3-12b-it-qat-q4_0-unquantized) **LoRAs** 选择并下载到 `COMFYUI_ROOT_FOLDER/models/loras` 文件夹。 * [`ltx-2.3-22b-ic-lora-union-control-ref0.5.safetensors`](https://huggingface.co/Lightricks/LTX-2.3-22b-IC-LoRA-Union-Control/blob/main/ltx-2.3-22b-ic-lora-union-control-ref0.5.safetensors) * [`ltx-2.3-22b-ic-lora-motion-track-control-ref0.5.safetensors`](https://huggingface.co/Lightricks/LTX-2.3-22b-IC-LoRA-Motion-Track-Control/blob/main/ltx-2.3-22b-ic-lora-motion-track-control-ref0.5.safetensors) * [`ltx-2-19b-ic-lora-detailer.safetensors`](https://huggingface.co/Lightricks/LTX-2-19b-IC-LoRA-Detailer/blob/main/ltx-2-19b-ic-lora-detailer.safetensors) * [`ltx-2-19b-ic-lora-pose-control.safetensors`](https://huggingface.co/Lightricks/LTX-2-19b-IC-LoRA-Pose-Control/blob/main/ltx-2-19b-ic-lora-pose-control.safetensors) * [`ltx-2-19b-lora-camera-control-dolly-in.safetensors`](https://huggingface.co/Lightricks/LTX-2-19b-LoRA-Camera-Control-Dolly-In/blob/main/ltx-2-19b-lora-camera-control-dolly-in.safetensors) * [`ltx-2-19b-lora-camera-control-dolly-left.safetensors`](https://huggingface.co/Lightricks/LTX-2-19b-LoRA-Camera-Control-Dolly-Left/blob/main/ltx-2-19b-lora-camera-control-dolly-left.safetensors) * [`ltx-2-19b-lora-camera-control-dolly-out.safetensors`](https://huggingface.co/Lightricks/LTX-2-19b-LoRA-Camera-Control-Dolly-Out/blob/main/ltx-2-19b-lora-camera-control-dolly-out.safetensors) * [`ltx-2-19b-lora-camera-control-dolly-right.safetensors`](https://huggingface.co/Lightricks/LTX-2-19b-LoRA-Camera-Control-Dolly-Right/blob/main/ltx-2-19b-lora-camera-control-dolly-right.safetensors) * [`ltx-2-19b-lora-camera-control-jib-down.safetensors`](https://huggingface.co/Lightricks/LTX-2-19b-LoRA-Camera-Control-Jib-Down/blob/main/ltx-2-19b-lora-camera-control-jib-down.safetensors) * [`ltx-2-19b-lora-camera-control-jib-up.safetensors`](https://huggingface.co/Lightricks/LTX-2-19b-LoRA-Camera-Control-Jib-Up/blob/main/ltx-2-19b-lora-camera-control-jib-up.safetensors) * [`ltx-2-19b-lora-camera-control-static.safetensors`](https://huggingface.co/Lightricks/LTX-2-19b-LoRA-Camera-Control-Static/blob/main/ltx-2-19b-lora-camera-control-static.safetensors) ## 高级技巧 ### 低显存 (Low VRAM) * 对于显存较低的系统,您可以使用 [low_vram_loaders.py](./low_vram_loaders.py) 中的模型加载节点。这些节点可确保正确的执行顺序并执行模型卸载,以便生成过程能够适应 32 GB 的显存。 * 使用 --reserve-vram ComfyUI 参数:`python -m main --reserve-vram 5`(或其他以 GB 为单位的数字)。 * 有关在 ComfyUI 中使用 LTX-2 模型、工作流和节点的完整信息,请访问我们的 [开源文档](https://docs.ltx.video/open-source-model/integration-tools/comfy-ui)。
标签:AIGC, AI模型, Apex, ComfyUI, ComfyUI插件, CUDA, Diffusion Model, DNS解析, Lightricks, LTX-2, LTX-Video, Stable Diffusion, Vectored Exception Handling, 凭据扫描, 图生视频, 工作流, 开源项目, 文生视频, 机器学习, 深度学习, 生成式AI, 神经网络, 索引, 自定义节点, 视频生成, 视频编辑, 计算机视觉, 逆向工具