zaki-zada/ai-agent-security-assessment

# AI Agent 安全评估 这是一套用于在 AI agent 投入生产环境前审查其安全性的实用工具包——包含审查方法、清单和事件响应预案，是我在跨八个安全领域评估 AI agent 并将发现结果映射到公认的框架时所使用的内容。 这属于防御性安全工作：探讨如何*审查*和*响应*，而不是如何攻击。此处所有内容均使用安全的示例数据，并假定仅在授权环境中进行。 ## 为什么会有这个项目 AI agent 是一种新的攻击面：它们读取不受信任的输入，持有上下文和记忆，并使用真实的权限调用工具。审查 AI agent 不同于审查普通的 Web 应用。本仓库将一个开放式的“这个 agent 安全吗？”转化为一个可重复的流程——接洽、八大领域审查、合理的风险分级以及 Go / No-Go 建议——此外还包含了当预防措施失效时，值班分析师应采取的应对措施。 ## 包含内容 ### 📋 方法论 - **[如何审查新的 AI Agent](methodology/how-to-review-an-ai-agent.pdf)** —— 端到端的方法论：接洽 → 8 大领域 → 双轴风险分级 → Go/No-Go。 ### ✅ 审查清单 可以直接交给开发者的清单，每个高价值领域一份： - **[Prompt Injection 清单](playbooks/prompt-injection-checklist.pdf)** —— 六大注入面、直接与间接注入、控制措施及测试。 - **[安全 RAG 清单](playbooks/secure-rag-checklist.pdf)** —— 数据投毒、权限绕过和跨用户泄露。 - **[日志要求](playbooks/logging-requirements.pdf)** —— 记录什么、日志去向，以及 SOC 必须具备的能力。 - **[工具审批清单](playbooks/tool-approval-checklist.pdf)** —— 半恶意工具、最小权限原则以及必须实施准入控制的关键操作。 ### 🚨 事件响应 预防清单说明了如何*阻止*攻击。以下内容则说明了当攻击已经发生时该怎么做： - **[Prompt Injection —— 事件响应](incident-response/prompt-injection-incident-response.pdf)** —— 为 agent 适配的 NIST 800-61 生命周期：分类、遏制（agent 拥有身份、记忆和实时工具）、收集证据，并编写检测规则以便在下次触发。包含 MITRE ATLAS 技术标签和 Sentinel 风格的检测逻辑。 ## 八大安全领域 1. LLM 与 Prompt 安全 · 2. RAG 与数据安全 · 3. 工具与 API 安全 · 4. Agentic 风险 · 5. 对抗性 ML · 6. 身份与访问 · 7. 运行时与 Guardrails · 8. 可观测性与 SOC 监控 ## 参考框架 OWASP LLM Top 10 · OWASP Agentic Top 10 · OWASP API Top 10 · MITRE ATLAS · NIST AI RMF · ISO/IEC 42001 —— 评估发现通过单一的交叉映射进行关联，从而实现一次审查即可满足多项合规义务。 ## 路线图 请参阅 **[roadmap.md](roadmap.md)**。正在进行的工作：扩展事件响应集（agent 沦陷、数据泄露调查、模型滥用检测），并添加已完成的评估示例。 ## 范围与免责声明 - **仅用于防御。** 这是审查和响应指南，不是攻击工具。 - **仅使用安全数据。** 绝不使用真实的凭证、token 或客户数据；绝不针对生产环境进行测试。任何动态测试均针对明确授权的实验室/预发布环境进行。 - **框架用语。** 使用此方法生成的报告应声明*“截至 [日期] 与公认的框架保持一致”* —— 绝不使用*“合规”*。 - **不构成法律建议。** ## 许可证 文档基于 MIT License 发布 —— 请参阅 [LICENSE](LICENSE)。

标签：AI安全, AI智能体, Chat Copilot, CISA项目, Web报告查看器, 反取证, 大模型安全, 安全审查, 安全评估, 库, 应急响应, 防御加固