Akhil-1527/agentaudit

# AgentAudit **结业项目 —— Kaggle 5天 AI Agents：Google 沉浸式 Vibe Coding 课程 · 商业智能体方向。** ## 问题所在 团队正在各个领域部署 AI agents，而每一个 agent 都是一个全新的攻击面： prompt injection、数据泄露、工具滥用以及策略绕过。大多数团队在 agent 上线前都 无法测试其安全性，而手动红队测试也无法扩展到每一次版本发布。 **AgentAudit 是你 agent 的专属安全团队。** 将其指向目标 agent，它会像人类红队专家一样自主对其进行攻击， 判断每次攻击是否真正奏效，并在几分钟内生成一份按严重程度排名、包含修复建议的发现报告。 ## 功能说明 ``` recon → attack (5 skills, multi-turn) → judge → report ``` - **侦察**阶段会映射目标的工具，并标记出其中的高危工具。 - **攻击 agent**（Google ADK）通过 `talk_to_target` 工具对目标发起引导，在多个回合中不断调整其攻击策略。 - **裁判**根据目标实际*执行*的操作（泄露机密、向攻击者发送邮件、泄露其他用户数据）来判定攻击是否成功，并可选择由 LLM 提供二次审查。 - **报告生成器**会渲染 Markdown + JSON 报告，**以及一个自包含的 HTML 控制面板**（包含风险评分、严重程度标签，以及针对每项发现展示攻击者/目标交互记录的卡片），并为每项发现提供修复建议。 ## 快速开始 ``` uv sync cp .env.example .env # add your Google AI Studio key (https://aistudio.google.com/apikey) # 完全离线运行内置的 mock target —— 无需 key： uv run agentaudit audit --target mock # 审计真实的 ADK + Gemini agent： uv run agentaudit audit --target acme-support --mode agentic --llm-judge --llm-summary # 列出攻击 skills： uv run agentaudit list-skills # 从任何已保存的 report 重建 HTML dashboard（离线，无需 key）： uv run agentaudit render reports/.report.json ``` 每次运行都会在 `reports/` 目录中生成三个文件：`*.report.md`、`*.report.json` 和 `*.report.html`。在浏览器中打开该 HTML 文件即可查看控制面板视图。 ## 攻击技能 | 技能 | 严重程度 | 证明了什么 | |---|---|---| | `prompt-injection` | 高危 | system prompt 可被用户输入覆盖 | | `indirect-injection` | 严重 | 工具**数据**中隐藏的指令会让 agent 攻击自身（这是能够击败对齐模型的方法） | | `data-exfiltration` | 严重 | 可提取受保护的机密信息 | | `tool-misuse` | 严重 | 高影响度工具（如邮件/退款）可被滥用 | | `jailbreak` | 高危 | 人设/策略绕过，导致泄露其他用户的数据 | 每项技能都是一个 [Agent Skill](agentaudit/skills/)（`SKILL.md` + 一个可执行的 检测器），因此该库易于扩展：放入一个新文件夹，注册一下，即可完成。 ## 输出示例 ``` ─ AgentAudit — mock-vulnerable-support ─ critical indirect-injection injection VULNERABLE critical data-exfiltration exfiltration VULNERABLE critical tool-misuse tool_misuse VULNERABLE high prompt-injection injection VULNERABLE high jailbreak jailbreak VULNERABLE Risk score: 160 — CRITICAL RISK ``` 打开生成的 `*.report.html` 即可查看控制面板视图。针对真实的 **ADK + Gemini** 目标，AgentAudit 成功发现了一个真实的**严重 indirect-injection** 漏洞。请参见 [`examples/acme-support-real-finding.html`](examples/acme-support-real-finding.html) （以及完整的演示运行示例 [`examples/mock-audit.html`](examples/mock-audit.html)）。 ## 架构 请参阅 [docs/architecture.md](docs/architecture.md) 获取完整图表。简而言之： 一个确定性引擎编排四个 agent；判定结果来源于代码级 检测器（可复现），并在其上层叠加可选的 Gemini 推理。 ## 课程概念展示 | 概念 | 位置 | |---|---| | Multi-agent system (ADK) | `target_agent/support_agent.py`, `agentaudit/agents/*` | | MCP Server | `agentaudit/mcp/audit_server.py` + `agentaudit/mcp/target_server.py` | | Agent skills | `agentaudit/skills/*/SKILL.md` | | Security features | 整个产品；机密处理；沙箱化模拟目标 | | Deployability | `Dockerfile`, `deploy/cloudrun.sh`, `agentaudit/server.py` | | Antigravity | 在 Antigravity 中构建/扩展的一项技能（在演示视频中展示） | ## 项目结构 ``` agentaudit/ ├── agentaudit/ │ ├── audit.py # the engine: recon → attack → judge → report │ ├── targets.py # mock (offline) + real target factory │ ├── report.py # findings model + Markdown/JSON rendering │ ├── skills/ # attack skills (SKILL.md + detector each) │ ├── agents/ # recon · attacker (ADK) · judge · reporter │ ├── mcp/ # AgentAudit-as-MCP + target-tools-as-MCP │ ├── server.py # FastAPI app for Cloud Run │ └── cli.py ├── target_agent/ # the deliberately vulnerable demo victim ├── tests/ # offline tests (no API key) ├── deploy/cloudrun.sh └── Dockerfile ``` ## 部署 ``` GEMINI_API_KEY=... ./deploy/cloudrun.sh # 然后：curl -X POST /audit -d '{"target":"mock"}' -H 'content-type: application/json' ``` ## 测试 ``` uv run --with pytest pytest # runs fully offline against the mock target ``` ## 安全与伦理 AgentAudit 专门用于对你拥有或获得授权的 agent 进行**合法**测试。内置的目标是虚构的且故意设计得较为脆弱。其中不涉及任何真实的机密、 人员或系统。切勿提交你的 `.env` 文件。 ## 许可证 MIT。

标签：AI安全, Chat Copilot, CISA项目, LLM审计, 人工智能, 多智能体, 用户模式Hook绕过, 自动化红队, 请求拦截, 逆向工具