4vanish/AI-Pentest-Playbook

GitHub: 4vanish/AI-Pentest-Playbook

一本针对 AI 聊天机器人与 LLM 应用的渗透测试实战手册,整合了覆盖 OWASP LLM Top 10 及前沿攻击向量的可复用 payload 库与攻防技术指南。

Stars: 30 | Forks: 11

# 🧨 AI Pentest Playbook ### 针对 AI 聊天机器人与 LLM 驱动应用的渗透测试实战手册 [![OWASP LLM Top 10](https://img.shields.io/badge/OWASP%20LLM%20Top%2010-Covered-A41E22?style=for-the-badge)](https://genai.owasp.org/llm-top-10/) [![GitHub 加星](https://img.shields.io/badge/⭐%20Star%20on%20GitHub-blueviolet?style=for-the-badge&logo=github&logoColor=white)](https://github.com/4vanish/AI-Pentest-Playbook/stargazers) #### [🚀 直接跳转到 Payload 库 →](PAYLOADS.md)
## 🎯 正在进行 AI/LLM 安全评估? 在整个评估生命周期中,将本手册作为您的实用实战指南——从针对聊天机器人和 AI 驱动应用的初始侦察,到对 prompt 注入、越狱技术、工具滥用、agent 操纵以及涉及 MCP、RAG 和计算机使用系统的数据泄露场景进行高级测试。 每一章都结合了经过实战检验的攻击 payload 与清晰的指导,涵盖了预期成功指标、严重性考量、检测机会和修复建议。这使得攻防双方不仅能了解攻击是如何运作的,还能知道如何识别、缓解和预防它。 本手册涵盖了完整的 OWASP 大型语言模型应用 Top 10,同时还探索了超越当前行业框架的新兴攻击面。 内容精选自公开研究、供应商披露、CVE、学术论文、真实事件以及活跃的红队评估,为现代 AI 安全测试提供了全面的参考。 ## 👉 从这里开始 — [**打开 Payload 库主索引 → `PAYLOADS.md`**](PAYLOADS.md) **每个 Payload 都在同一页上**,按攻击类别分组——可直接复制粘贴,一键获取完整集合。无需翻找文件夹;所有内容都可以从[主索引](PAYLOADS.md)中访问。 | 攻击类别 | 攻击类别 | |---|---| | [Prompt 注入](payloads/prompt_injection.md) | [不安全的输出处理](payloads/insecure_output_handling.md) | | [越狱](payloads/jailbreaks.md) | [Code-Interpreter RCE](payloads/code_interpreter_rce.md) | | [系统 Prompt 提取](payloads/system_prompt_extraction.md) | [训练数据与内存提取](payloads/data_extraction.md) | | [编码 / 混淆绕过](payloads/encoding_bypass.md) | [模型拒绝服务](payloads/model_dos.md) | | [间接与多模态注入](payloads/indirect_injection.md) | [Agent / 工具滥用](payloads/agent_tool_abuse.md) | 有关包含检测和缓解措施的技术层面覆盖,请浏览以下章节。 ## 章节 ### 基础 | # | 章节 | |---|---| | 01 | [侦察与指纹识别](docs/01-recon.md) — 模型 ID、系统 prompt 检测、工具与架构推断 | ### OWASP LLM Top 10 | # | 章节 | OWASP | |---|---|---| | 02 | [Prompt 注入](docs/02-prompt-injection.md) | LLM01 | | 03 | [不安全的输出处理](docs/03-insecure-output.md) | LLM02 | | 04 | [训练数据投毒](docs/04-training-data-poisoning.md) | LLM03 | | 05 | [模型拒绝服务](docs/05-model-dos.md) | LLM04 | | 06 | [供应链漏洞](docs/06-supply-chain.md) | LLM05 | | 07 | [敏感信息泄露](docs/07-info-disclosure.md) | LLM06 | | 08 | [不安全的插件 / 工具设计](docs/08-tool-abuse.md) | LLM07 | | 09 | [过度代理](docs/09-excessive-agency.md) | LLM08 | | 10 | [过度依赖 / 幻觉利用](docs/10-overreliance.md) | LLM09 | | 11 | [模型窃取 / 提取](docs/11-model-theft.md) | LLM10 | ### 超越 OWASP | # | 章节 | |---|---| | 12 | [越狱技术](docs/12-jailbreaks.md) — DAN、STAN、AIM、渐进式、多次试探、token 走私 | | 13 | [MCP / Agentic 攻击面](docs/13-mcp.md) — 工具投毒、MCPoison、 rug-pull MCP | | 14 | [RAG 与向量存储攻击](docs/14-rag.md) — 检索投毒、 embedding 逆向 | | 15 | [间接 Prompt 注入](docs/15-indirect-pi.md) — Web、文档、电子邮件注入 | | 16 | [工具与自动化](docs/16-tools.md) — Garak、PyRIT、Burp、MCP inspector | ### 前沿攻击向量 | # | 章节 | |---|---| | 17 | [A2A 协议攻击](docs/17-a2a.md) — agent 间欺骗、权限膨胀 | | 18 | [计算机使用型 Agent 攻击](docs/18-computer-use.md) — browser-use、Operator、屏幕注入 | | 19 | [谄媚利用](docs/19-sycophancy.md) — 信心翻转、奖励模型操纵 | | 20 | [内存投毒](docs/20-memory.md) — 持久化上下文攻击、跨会话渗透 | | 21 | [函数调用滥用](docs/21-function-calling.md) — schema 注入、并行工具竞争 | | 22 | [语音 / 音频助手攻击](docs/22-voice.md) — 克隆、重放、超声注入 | ## Payload 库 — 按目标 | 目标 | 章节 | Payload 集合 | |---|---|---| | 提取系统指令 | [07](docs/07-info-disclosure.md) | [`system_prompt_extraction.md`](payloads/system_prompt_extraction.md) | | 注入 / 覆盖指令 | [02](docs/02-prompt-injection.md) | [`prompt_injection.md`](payloads/prompt_injection.md) | | 绕过安全策略 | [12](docs/12-jailbreaks.md) | [`jailbreaks.md`](payloads/jailbreaks.md) | | 编码 / 混淆绕过 | [12](docs/12-jailbreaks.md) | [`encoding_bypass.md`](payloads/encoding_bypass.md) | | 通过植入内容(Web / 文档 / RAG / 媒体)攻击 | [15](docs/15-indirect-pi.md) | [`indirect_injection.md`](payloads/indirect_injection.md) | | 利用下游渲染器(XSS / SSTI / SQLi / RCE) | [03](docs/03-insecure-output.md) | [`insecure_output_handling.md`](payloads/insecure_output_handling.md) | | 将代码 / Python 工具升级为 RCE | [08](docs/08-tool-abuse.md) | [`code_interpreter_rce.md`](payloads/code_interpreter_rce.md) | | 窃取训练数据 / 内存 / PII | [07](docs/07-info-disclosure.md) | [`data_extraction.md`](payloads/data_extraction.md) | | 耗尽资源 / 耗尽预算 | [05](docs/05-model-dos.md) | [`model_dos.md`](payloads/model_dos.md) | | 滥用 agent 操作 / SSRF / 工具 | [09](docs/09-excessive-agency.md) | [`agent_tool_abuse.md`](payloads/agent_tool_abuse.md) | ## 仓库结构 ``` AI-Pentest-Playbook/ ├── PAYLOADS.md ⭐ one-page payload index — start here ├── payloads/ the payloads, grouped by attack class ├── docs/ technique chapters (detection + mitigation) ├── scripts/ runner · burp-export · master-csv ├── README.md └── CONTRIBUTING.md ``` ## 引用 ``` @misc{aihackershandbook, author = {4vanish and contributors}, title = {AI Hacker's Handbook: A playbook for pentesting AI chatbots and LLM-powered applications}, publisher = {GitHub}, howpublished = {\url{https://github.com/4vanish/AI-Pentest-Playbook}} } ``` ## 作者 由 **Avanish Pathak** 构建并维护。 [![LinkedIn](https://img.shields.io/badge/LinkedIn-Connect-0A66C2?style=for-the-badge&logo=linkedin&logoColor=white)](https://linkedin.com/in/avanishpathak1)
标签:AI安全, Chat Copilot, CISA项目, LLM, OWASP Top 10, Unmanaged PE, 安全测试, 插件系统, 攻击性安全, 演示模式, 红队评估, 逆向工具, 防御加固