HKUDS/VideoAgent

GitHub: HKUDS/VideoAgent

VideoAgent 是一个集视频理解、编辑与创作为一体的多模态智能体框架，通过自然语言对话实现全自动化视频处理与生成。

Stars: 1420 | Forks: 194


**🌟 全面的视频智能：
集理解、编辑与生成于一体的一站式框架**
   


HKUDS%2FVideoAgent | Trendshift
[English](readme.md) | [简体中文](readme_zh.md)
## 📹 **演示视频**
在本视频中，我们演示了如何使用 VideoAgent 来： - 清晰表达用户需求 - 实现意图分析和自主工具使用与规划 - 创建多模态产品，包括详细的工作流 - 全自动生成视频概述 ## 🚀 核心功能 🧠 - **理解视频内容**
凭借先进的多模态智能能力，实现对视频媒体的深度分析、总结与洞察提取。 ✂️ - **编辑视频片段**
提供直观的工具，用于组装、剪辑和重新配置内容，实现无缝的工作流集成。 🎨 - **重塑创意视频**
利用生成式技术，通过 AI 驱动的创意辅助制作出新颖且富有想象力的视频内容。 🔧 - **多模态智能体框架**
通过结合多种 AI 模态的集成框架，提供全面的视频智能以增强性能。 🚀 - **无缝的自然语言体验**
通过纯粹的对话式 AI 改变视频的交互与创作方式——无需复杂的界面或专业技术知识，只需与 VideoAgent 进行自然对话即可。 ``` graph TB A[🎬 VideoAgent Framework] --> B[🧠 Video Understanding & Summarization] A --> C[✂️ Video Editing] A --> D[🎨 VIdeo Remaking] B --> B1[Video Q&A] B --> B2[Video Summarization] C --> C1[Movie Edits] C --> C2[Commentary Video] C --> C3[Video Overview] D --> D1[Meme Videos] D --> D2[Music Videos] D --> D3[Cross-Cultural Comedy] ```
VideoAgent Director Funclip NarratoAI NotebookLM
节拍同步编辑 ✅ ✅ ✅ — —
叙事视频 ✅ — — — —
视频概述 ✅ ✅ ✅ ✅ ✅
梗视频重塑 ✅ — — — —
歌曲混音 ✅ — — — —
跨语言改编 ✅ — — — —
视频问答 ✅ ✅ — — ✅
音效工具 ✅ — — — —
## 📑 目录 - [🌟 系统概述](#system-overview) - [🔧 评估](#evaluation) - [🚀 快速开始](#quick-start) - [🔮 演示](#demos) - [💖 致谢](#acknowledgments) ### 🔥 **为什么选择 VideoAgent？** | 🧠 **简单易用** | 🚀 **无限创意** | 🎨 **高质量** | |:---:|:---:|:---:| | 单提示词视频创作 | 从任何创意出发进行创作 | 人类专业级别的视频制作 | | 将您的创意转化为专业视频 | 为您独特的创意生成工作流 | 交付符合专业标准的视频 | ## 🌟系统概述 我们的系统引入了三项用于自动化视频处理的关键创新。**意图分析**能够捕捉用户指令之外的显式和隐式子意图。**自主工具使用与规划**采用图驱动的工作流生成机制与自适应反馈循环，实现自动化的 Agent 编排。**多模态理解**将原始输入转化为语义对齐的视觉查询，从而增强检索效果。 ### 🧠 **意图分析** - 🔍 VideoAgent 智能地将**用户指令分解**为**显式和隐式子意图**，捕捉用户可能未明确表达的细微需求。这种高级解析确保了对用户目标的**全面理解**，超越了表面层次的指令。 - 🎯 通过**意图到 Agent 的映射机制**，系统能够精确识别多 Agent 框架中需要哪些能力。这种有针对性的方法能够**有效激活**相关的系统组件，同时避免不必要的计算开销，从而实现**最佳的任务执行**。 ### 🔧 **自主工具使用与规划** - ⚙️ **图驱动框架**自动将用户意图转化为**可执行的工作流**。系统会动态选择合适的 Agent 并构建最优的执行序列。节点代表工具能力，而边则定义了复杂视频任务的工作流连接。 - 🔄 自适应反馈循环通过**两步自我评估**不断细化规划过程。这确保了稳健的**自动化决策**和无缝的执行。系统在整个任务生命周期中会进行**自我纠正**并优化性能。 ### 🎬 **多模态理解** - 📋 **分镜 Agent** 将用户的原始输入转化为**优化的视觉查询**。它首先分析预先打好标签的视频素材库，以了解可用的资源。这一基础分析确保系统确切知道有哪些内容可用于查询处理。 - 💡 然后，该 Agent 将**用户输入分解**为在视觉和语义上对齐的**细粒度子查询**。这种复杂的分解机制通过将用户意图与数据库中最相关的视觉内容进行匹配，实现了**增强的视频检索**。

## 🔧评估 我们在多个维度进行了广泛的实验，以验证 VideoAgent 在解决关键挑战方面的有效性。 ### 通过工作流构建实现无限创意 为了评估 VideoAgent 通过自动构建工作流展现出的**无限创意**，我们在三种骨干模型上比较了五种广泛适用的 Agent。我们的研究结果表明，VideoAgent 在音频和视频数据集上的表现显著优于其他基线模型，通过图结构引导和由专用自我评估反馈驱动的自我反思，展示了其**富有创意的工作流生成能力**。此外，我们观察到，与 GPT-4o 和 Deepseek-v3 相比，VideoAgent 在 Claude 3.7 骨干模型下表现出更优且更稳定的**创意性能**，而其他基线方法在不同骨干模型下则表现出波动。这突显了 VideoAgent 通过自动构建多样且有效的工作流来**释放无限创意**的能力，功能更强大的 LLM 能够对复杂的基于图的任务实现更深入的理解并提供更稳健的创意解决方案。


### 卓越的多模态理解能力 为了验证我们的多模态理解能力，我们使用打乱顺序的字幕查询进行了文本到视频的检索实验。该评估采用三个指标来衡量我们的模型检索相应视觉内容的能力：Recall 通过将检索到的片段中点与真实片段位置进行比较，衡量模型正确重排打乱顺序的视频片段的能力；基于 Embedding Matching 的分数评估生成视频与高级字幕摘要之间的粗粒度对齐程度；Intersection over Union（交并比）通过计算检索到的区间与真实区间的时间重叠与总覆盖范围的比例，来量化片段级别的时间对齐准确度。实验结果表明，我们的方法能够检索到更准确的视频片段，从而展示了我们精确的多模态理解能力。

### 迭代次数越多，性能越好 我们通过分析反思轮次对性能的影响，研究了 VideoAgent 的迭代优化能力。通过在两个数据集上使用三种 LLM 骨干模型对工作流组合进行全面的超参数实验，我们展示了 VideoAgent **显著的自我提升能力**。结果显示，虽然早期的迭代产生了基线结果，但我们系统的**自适应反思机制**在随后的每一轮中都能推动显著的性能提升。VideoAgent 在所有测试配置下均实现了**0.95 的一致工作流组合成功率**，展示了其**强大的自我纠正能力**以及**可靠的高质量输出**，且不受底层 LLM 骨干的影响。
## 🚀快速开始 ### 🖥️ **环境** ``` GPU Memory: 8GB OS: Linux, Windows ``` ### 📥 **克隆与安装** ``` git clone https://github.com/HKUDS/VideoAgent.git conda create --name videoagent python=3.10 conda activate videoagent conda install -y -c conda-forge pynini==2.1.5 ffmpeg pip install -r requirements.txt ``` ### 📦 **模型下载** ``` # 下载 CosyVoice cd tools/CosyVoice huggingface-cli download PillowTa1k/CosyVoice --local-dir pretrained_models ``` ``` # 下载 fish-speech cd tools/fish-speech huggingface-cli download fishaudio/fish-speech-1.5 --local-dir checkpoints/fish-speech-1.5 ``` ``` # 下载 seed-vc cd tools/seed-vc huggingface-cli download PillowTa1k/seed-vc --local-dir checkpoints ``` ``` # 下载 DiffSinger cd tools/DiffSinger huggingface-cli download PillowTa1k/DiffSinger --local-dir checkpoints ``` ``` # 下载 Whisper cd tools huggingface-cli download openai/whisper-large-v3-turbo --local-dir whisper-large-v3-turbo ``` ``` # 确保已安装 git-lfs (https://git-lfs.com) git lfs install ``` ``` # 下载 ImageBind cd tools mkdir .checkpoints cd .checkpoints wget https://dl.fbaipublicfiles.com/imagebind/imagebind_huge.pth ``` **🌟 为方便起见，我们提供了多种模型；您只需下载与您项目相关的模型即可。**
功能类型 视频演示 所需模型
Cross Talk 英语单口喜剧转中文相声 CosyVoice, Whisper, ImageBind
Talk Show 中文相声转英语单口喜剧 CosyVoice, Whisper, ImageBind
MAD TTS Xiao-Ming-Jian-Mo(小明剑魔) Meme fish-speech
MAD SVC AI 音乐视频 DiffSinger, seed-vc, Whisper, ImageBind
Rhythm 蜘蛛侠：纵横宇宙 Whisper, ImageBind
Comm 解说视频 CosyVoice, Whisper, ImageBind
News 科技新闻：OpenAI 发布 GPT-4o 图像生成功能 CosyVoice, Whisper, ImageBind
视频问答/摘要 《沙丘 2》演员阵容更新播客 Whisper
### 🤖 **LLM 配置** ``` # VideoAgent\environment\config\config.yml # 适用场景与 LLM 配置 # 需要 Claude，因为它为 Agentic Graph Router 提供支持 llm: # Video Remixing/TTS/SVC/Stand-up/CrossTalk deepseek_api_key: "" deepseek_base_url: "" # Agentic Graph Router/TTS/SVC/Stand-up/CrossTalk claude_api_key: "" claude_base_url: "" # Video Editing/Overview/Summarization/QA/Commentary Video gpt_api_key: "" gpt_base_url: "" # MLLM for caption and fine-grained video understanding gemini_api_key: "" gemini_base_url: "" ``` 🎯 **使用方法** ``` # 配置现已完成，请继续执行以下指令： python main.py # 控制台将输出： User Requirement: ... # 需求示例： # 1. 我需要创建一个现有视频的重新配音版本，在修改语音内容的同时保持原始说话者的声音。该视频应具有与原版相同的视觉画面，但对话需更新以符合我的具体要求。 # 2. 我有一段单口喜剧剧本，希望将其制作成看起来专业的视频。我需要按照良好的喜剧节奏和观众反应来表演该剧本，然后匹配相关的视频素材，以创建一部完整的单口喜剧特辑。我已经有一份参考剧本和一些想用于该视频的素材。 ``` 当前的 LLM 选择已针对各项功能进行了优化。 如有需要，您也可以在 `VideoAgent\environment\config\llm.py` 中调整模型名称。 ## 🔮演示
Movie Edits Meme Videos Music Videos
Verbal Comedy Arts Commentary Video Video Overview
有关演示用法的更多详情，请参阅： 👉 [演示文档](demos_documents.md) 您可以在我们的 Bilibili 频道上找到更多有趣的视频： 👉 [Bilibili 主页](https://space.bilibili.com/3546868449544308) 欢迎前往观看更多有趣的内容！😊 **注意**：所有视频仅供研究和演示使用。音频和视觉素材均来源于互联网。如果您认为任何内容侵犯了您的知识产权，请与我们联系。
标签：AI智能体, 人工智能, 凭据扫描, 多模态, 用户模式Hook绕过, 视频处理, 视频理解, 视频生成, 视频编辑, 逆向工具