Astle1/AgentGuard

# 🛡️ AgentGuard：企业级 AI 发布治理平台 随着 AI agent 变得越来越智能，各企业正迅速将 copilot、内部助手和自动化工作流引入日常业务中。然而，传统的软件测试工具无法解答企业担忧的重大安全问题： * 有人能欺骗或破坏这个 agent 吗？ * 它会意外泄露敏感的客户数据吗？ * 它真的遵守公司的规章制度吗？ * 我们最近的 prompt 更新是否引入了隐藏的 bug？ * 这个系统运行起来真的安全吗？ 我注意到当今存在一个巨大的差距：几乎每家针对传统软件发布都有严格的审批制度，但几乎没有一家企业为 AI agent 制定明确的发布流程。 这促使我开发了 **AgentGuard** —— 这是一个企业级 AI 发布平台，作为 AI agent 正式上线前的最后一道安全审批关卡。 ## 功能介绍 AgentGuard 会在批准 AI agent 发布之前，对其进行严格的多步骤安全检查。 每当团队提交 agent 发布请求时，我的平台都会自动： * 读取项目需求和安全规则 * 创建自定义测试用例和复杂的边缘测试用例 * 运行自动化安全攻击，以测试 prompt 注入和黑客攻击 * 检查数据泄露和违规行为 * 在检查未通过时，自动生成代码修复和 prompt 优化方案 * 计算信任与安全评分 * 颁发数字安全证书，或将处于临界状态的案例发送给人工主管进行审核 AgentGuard 不是仅对 AI agent 进行一次测试，而是会跟踪 agent 在不同版本中的完整历史记录。 例如： * **版本 1.0** 可能会因未通过安全测试而被拦截。 * **版本 1.1** 可能会通过安全检查，但触发一条规则警告，从而生成自动代码修复。 * **版本 1.2** 通过所有安全检查，获得数字认证，并自动在生产环境中开始运行。 ## 工作原理 您可以将 AgentGuard 视为 AI agent 的**机场安检处**。任何 AI agent 在离开实验室并在真实世界运行之前，都必须经过以下严格的 4 步工作流： ### 1. 请求与检查 当开发者想要部署新的 AI agent 时，他们会在仪表板上提交发布请求。AgentGuard 不会仅仅运行一次基础测试，而是会立即派出 **7 个专门的 Python 测试 agent** 同时对该 AI 进行检查。 ### 2. 7-Agent 安全流水线 (`backend/app/agents/`) 每个测试 agent 专注于不同的安全风险： 1. **Requirement Agent：** 检查该 agent 是否符合业务目标。 2. **Test Generation Agent：** 创建自动化边界测试。 3. **Adversarial Agent：** 运行安全攻击，以测试黑客漏洞和 prompt 注入。 4. **Execution Agent：** 在安全的测试环境中运行 agent 代码。 5. **Failure Analysis Agent：** 模拟网络超时和系统错误。 6. **Repair Agent：** 在测试失败时提供精确的代码修复和 prompt 修改建议。 7. **Governance Agent：** 将所有测试分数汇总，做出最终的通过与否决定。 ### 3. 自动审批 vs. 人工签字 (`backend/app/uipath_adapters/`) 测试流水线一旦完成，AgentGuard 就会查看最终的安全评分： * **🟢 高安全评分（已批准）：** 如果 AI 顺利通过测试，我的 `UiPathMaestroAdapter` 会直接向 **UiPath Orchestrator** (`StartJobs`) 发起实时的 REST API 调用，自动触发生产自动化工作流 (`HTTP 201 Created`)。 * **🟡 临界评分（人工审核）：** 如果 AI 获得的是临界评分，我的 `UiPathActionCenterAdapter` 会向 **UiPath Action Center** 发起 REST API 调用，创建一个实时任务，合规专员可以在该任务中查看测试报告并点击批准或拦截。 * **🔴 低评分（已拒绝）：** 发布立即被拦截，同时我的 Repair Agent 会输出可操作的 diff，以便在下次提交前修复缺陷。 ## 🛠️ UiPath 生态系统集成与所用组件 AgentGuard 深度集成了 **UiPath Automation Cloud** 生态系统，利用 7 个核心 UiPath 组件来编排、执行、评估和治理 AI agent 发布： | UiPath 组件 | 在 AgentGuard 中的角色 | 集成方式与实现 | 第一天运行时适配器 / 模块 | | :--- | :--- | :--- | :--- | | **UiPath Maestro** | **主编排引擎** | 作为流水线监督者，负责触发、协调和跟踪 7 阶段的评估保障循环。 | `backend/app/uipath_adapters/maestro_adapter.py` | | **UiPath Orchestrator** | **生产执行引擎** | 在发布批准后，直接进行实时的 REST API 调用 (`StartJobs`) 以自动触发生产自动化工作流 (`HTTP 201 Created`)。 | `backend/app/uipath_adapters/maestro_adapter.py` | | **UiPath Action Center** | **人机协同签字关卡** | 针对处于临界状态的安全评分，创建实时的、结构化的合规审查任务（`Tasks` REST API），以便人工专员可以批准或拦截部署。 | `backend/app/uipath_adapters/action_center_adapter.py` | | **UiPath Test Cloud** | **自动化评估网格** | 将自动化功能边界套件和对抗性红队测试用例分发给目标 LLM endpoint，并检索延迟/断言遥测数据。 | `backend/app/uipath_adapters/testcloud_adapter.py` | | **UiPath for Coding Agents** | **自动修复循环** | 在评估检查未通过时，触发自动代码修复和系统 prompt 优化脚本。 | `backend/app/agents/repair_agent.py` | | **UiPath Integration Service** | **企业事件路由与审计** | 跨企业自动化工作流发布实时治理遥测数据和生命周期审计事件（`eval.stage.completed`，`release.approved`）。 | `backend/app/uipath_adapters/integration_service_adapter.py` | | **UiPath Agent Builder** | **Agent 注册与编目** | 在 Automation Cloud 中同步 AI agent 清单、元数据、生命周期状态和版本标签。 | `backend/app/models/agent.py` | ## 技术栈 * **Frontend：** Next.js 14 (App Router), TypeScript, Tailwind CSS, Lucide Icons。 * **Backend Core：** Python 3.11+, FastAPI, Pydantic, 基于 SQLite 的异步 SQLAlchemy。 * **Enterprise Automation：** 与 **UiPath Maestro**、**UiPath Orchestrator** (`StartJobs`)、**UiPath Action Center** (`Tasks`)、**UiPath Test Cloud**、**UiPath for Coding Agents**、**UiPath Integration Service** 以及 **UiPath Agent Builder** 进行直接的 REST API 集成和架构映射。 ## 入门指南：本地设置 您可以在两个终端窗口中在本地运行整个平台： ### 1. 启动 Backend API 在项目文件夹中打开您的终端并运行： ``` cd backend python -m venv venv .\venv\Scripts\activate pip install -r requirements.txt uvicorn app.main:app --reload --port 8000 ``` * API Server：`http://localhost:8000` * API 文档：`http://localhost:8000/docs` ### 2. 启动 Frontend Dashboard 打开第二个终端窗口并运行： ``` cd frontend npm install npm run dev ``` * Dashboard：`http://localhost:3000` ## 许可证 基于 MIT 许可证授权。详情请参阅 `LICENSE`。

标签：AI红队, LLM测试, RPA集成, 人工智能, 发布治理, 大语言模型安全, 机密管理, 用户模式Hook绕过