Shiva108/ai-llm-red-team-handbook
GitHub: Shiva108/ai-llm-red-team-handbook
这是一个集成了46章标准化课程、Python自动化测试框架及实战检查清单的AI/LLM红队手册，为大模型及AI应用提供从战术攻击到合规咨询的全方位安全评估指南。
Stars: 247 | Forks: 45
# AI / LLM 红队实战手册与顾问指南
这是一套用于对大语言模型、AI Agent、RAG 流水线以及 AI 驱动应用进行 **AI/LLM 红队评估** 的综合操作工具包。本仓库提供了战术级的现场指导与战略级咨询框架。
📖 **GitBook 导航：** 请参阅 [SUMMARY.md](docs/SUMMARY.md) 以了解完整的章节结构。
## 📚 概述
本仓库代表了 AI LLM 红队手册的 **Gold Master** 版本。它包含了一份完全标准化的 46 章课程体系，涵盖了 AI 安全的全方位内容——从 prompt injection（提示注入）和 jailbreaking（越狱）到对抗机器学习和联邦学习攻击。
### 核心资源
1. **AI LLM Red Team Handbook**（46 章，已完结）
- 包含标准化元数据、摘要和导航的专业咨询指南。
- 涵盖伦理、架构、RAG 安全、Agent 威胁以及合规性（EU AI Act/ISO 42001）。
2. **AI LLM Red Team Field Manual**
- 供现场使用的紧凑型操作参考（清单、payload、方法论）。
3. **Python Testing Framework** (`scripts/`)
- 用于 prompt injection、fuzzing 和安全验证的自动化套件。
## 📁 仓库结构
```
ai-llm-red-team-handbook/
├── docs/ # The Handbook (Chapters 01-46)
│ ├── archive/ # Historical versions
│ ├── assets/ # Diagrams, charts, and visual aids
│ ├── field_manuals/ # Operational checklists and quick-refs
│ ├── templates/ # Report and SOW templates
│ └── SUMMARY.md # Master Table of Contents
├── scripts/ # Automated testing tools (Python)
├── workflows/ # CI/CD and automation workflows
├── .agent/ # Agentic memory and context
├── LICENSE # CC BY-SA 4.0 License
└── README.md # This file
```
## 🚀 安装与使用
### 1. 手动浏览（手册）
使用本仓库的主要方式是将其作为参考资料。
- 从 [SUMMARY.md](docs/SUMMARY.md) 开始浏览所有章节。
- 查看 [Field Manual](docs/AI_LLM%20Red%20Team%20Field%20Manual.md) 以便在项目执行期间进行快速查阅。
### 2. 自动化测试环境
要运行提供的 Python 扫描和 fuzzing 脚本：
**前置条件：**
- Python 3.8+
- 目标 LLM 的 API 访问权限（OpenAI、Anthropic 或本地 Ollama）
**设置：**
```
# Clone the repository
git clone https://github.com/shiva108/ai-llm-red-team-handbook.git
cd ai-llm-red-team-handbook
# Install dependencies
cd scripts
pip install -r config/requirements.txt
```
**运行测试：**
```
# Set up your environment variables (API Keys)
cp .env.example .env
nano .env
# Run the test runner
python examples/runner.py --target "gpt-4" --test "prompt_injection"
```
## 📖 章节路线图（已完成）
本手册分为 8 个战略部分。所有章节现已 **完成** 并经过审核。
### 第一部分：专业基础
- **第 01-04 章：** 简介、伦理、思维模式、交战规则。
### 第二部分：项目准备
- **第 05-08 章：** 威胁建模、范围界定、实验室搭建、证据链监管。
### 第三部分：技术基础
- **第 09-11 章：** LLM 架构、Tokens、插件/APIs。
### 第四部分：流水线安全
- **第 12-13 章：** RAG 流水线、供应链安全。
### 第五部分：攻击与技术
- **第 14-24 章：** Prompt Injection、数据泄露、Jailbreaking、API Exploitation、Evasion、投毒、模型窃取、DoS、多模态、社会工程学。
### 第六部分：防御与缓解
- **第 25-30 章：** 对抗机器学习、供应链防御、联邦学习、隐私、模型反演、后门。
### 第七部分：高级操作
- **第 31-39 章：** 侦察、攻击框架、自动化、防御规避、后渗透、报告编写、补救措施、持续红队演练、漏洞赏金。
### 第八部分：高级主题
- **第 40-46 章：** 合规性（EU AI Act）、行业最佳实践、案例研究、红队演练的未来、新兴威胁、项目构建、总结。
## 🤝 贡献
我们欢迎贡献，以保持本手册的生命力。
1. **Fork** 本仓库。
2. **创建** 一个功能分支 (`git checkout -b feature/new-jailbreak`)。
3. **提交** Pull Request，并清晰描述变更内容。
4. 请确保所有新内容均遵循 `docs/templates/` 中的 **章节模板**。
## ⚠️ 免责声明
**仅供授权安全测试使用。**
本仓库中描述的技术和工具仅供教育目的，并供授权安全专业人员用于测试其拥有或已获得明确测试许可的系统。
- **请勿** 在不遵守其服务条款的情况下，将这些工具用于公共 LLM（例如 ChatGPT、Claude）。
- **请勿** 将这些技术用于恶意目的。
作者和贡献者不对本材料的误用承担任何责任。
## 📬 联系方式
- **Issues：** [GitHub Issues](https://github.com/shiva108/ai-llm-red-team-handbook/issues)
- **License：** [CC BY-SA 4.0](LICENSE)
**Version:** 1.46.263
标签：AI安全, Chat Copilot, DLL 劫持, EU AI Act, Fuzzing, ISO 42001, LLM, Python, RAG安全, Red Canary, Unmanaged PE, 人工智能, 反取证, 合规, 咨询手册, 大语言模型, 安全评估, 安全运营, 对抗性机器学习, 扫描框架, 提示注入, 数据展示, 无后门, 测试框架, 用户模式Hook绕过, 红队, 网络安全, 越狱, 逆向工具, 防御加固, 隐私保护, 集群管理, 零日漏洞检测