vaishnavucv/Ai-RedTeam-Lab

# AI 红队实验室 — OWASP LLM Top 10 一个用于 AI/ML/LLM 安全的动手实践、自托管渗透测试实验室。专为 **L1 和 L2 安全运营人员** 打造，用于获得攻击和防御 AI 系统的实践经验，涵盖全部十个 OWASP LLM Top 10 漏洞类别。 每个模块都是一个独立的实验室，本地运行，教授一种攻击类别，并提供结构化的 90 分钟指导练习。 ## 实验室状态 | 模块 | 漏洞 | 实验室状态 | 访问 | |------|------|------------|------| | **LLM01** | 提示注入 | **运行中** | `http://localhost:8081` | | LLM02 | 敏感信息泄露 | 仅指南 — 实验室规划中 | — | | LLM03 | 供应链漏洞 | 仅指南 — 实验室规划中 | — | | LLM04 | 数据与模型投毒 | 仅指南 — 实验室规划中 | — | | LLM05 | 不当输出处理 | 仅指南 — 实验室规划中 | — | | LLM06 | 过度代理 | 仅指南 — 实验室规划中 | — | | LLM07 | 系统提示泄露 | 仅指南 — 实验室规划中 | — | | LLM08 | 向量与嵌入弱点 | 仅指南 — 实验室规划中 | — | | LLM09 | 误导信息 | 仅指南 — 实验室规划中 | — | | LLM10 | 无限制消耗 | 仅指南 — 实验室规划中 | — | ## LLM01 — 提示注入（现已可用） 第一个且最完整的实验室。一个完全可用的基于浏览器的攻击环境，运行一个故意存在漏洞的 AI 助手（通过 Ollama 的 TinyLlama）。涵盖六个不同的攻击类别，包含指导练习、真实的模型响应和内置的防御者训练。 ### LLM01 实验室包含内容 - **6 个攻击练习** — 直接覆盖、角色注入、提示提取、多轮、间接/RAG 注入、上下文混淆 - **实时 AI 目标** — 通过 Ollama 运行的 TinyLlama 1.1B，完全在本地机器上运行 - **Web 仪表板** — 带有结果卡片、进度跟踪和系统提示查看器的攻击界面 - **应用内指南查看器** — 每个练习的分步工作手册，由 Markdown 渲染 - **交互日志** — 每次尝试记录到 `logs/interactions.jsonl` - **Docker 支持** — 单个容器，连接到主机 Ubuntu 系统上的 Ollama ### 快速启动（Docker） ``` cd LLM01_Prompt_Injection docker compose up --build ``` 打开：**`http://localhost:8081`** 完整安装说明请参见 [`LLM01_Prompt_Injection/kickstart.md`](LLM01_Prompt_Injection/kickstart.md)。 ### LLM01 文档 | 文件 | 用途 | |------|------| | [`kickstart.md`](LLM01_Prompt_Injection/kickstart.md) | 安装、运行和访问实验室 | | [`LLM01_Prompt_Injection_Guide.md`](LLM01_Prompt_Injection/LLM01_Prompt_Injection_Guide.md) | 90 分钟指导实验室练习 | | [`docs/LAB-USER-GUIDE.md`](LLM01_Prompt_Injection/docs/LAB-USER-GUIDE.md) | 仪表板用户指南 | | [`docs/T1`](LLM01_Prompt_Injection/docs/T1-Direct-Instruction-Override.md) – [`docs/T6`](LLM01_Prompt_Injection/docs/T6-Context-Confusion.md) | 每个练习的工作手册 | ## 路线图 实验室按 OWASP LLM01–LLM10 的顺序逐个模块构建。每个实验室都遵循与 LLM01 相同的结构：一个可用的攻击目标、Web 仪表板、指导练习和 Docker 支持。 ### 下一步：LLM02 — 敏感信息泄露 下一个模块将模拟 AI 系统无意中通过模型输出、训练数据记忆和检索管道泄露 PII、凭证或内部数据。 **计划组件：** - 一个已训练或通过提示注入敏感数据的 AI 目标 - 涵盖直接提取、推理攻击和 RAG 泄露的练习 - 一份涵盖真实事件（Samsung ChatGPT 泄露、训练数据提取研究）的指南 ### 未来的模块（LLM03–LLM10） 每个模块将在前一个模块完成时进行规划和构建。LLM02–LLM10 的指南已在每个目录中作为规划文档存在。 **构建顺序：** ``` LLM01 ████████████████████ Live LLM02 ░░░░░░░░░░░░░░░░░░░░ Planning LLM03 ░░░░░░░░░░░░░░░░░░░░ Pending LLM04 ░░░░░░░░░░░░░░░░░░░░ Pending LLM05 ░░░░░░░░░░░░░░░░░░░░ Pending LLM06 ░░░░░░░░░░░░░░░░░░░░ Pending LLM07 ░░░░░░░░░░░░░░░░░░░░ Pending LLM08 ░░░░░░░░░░░░░░░░░░░░ Pending LLM09 ░░░░░░░░░░░░░░░░░░░░ Pending LLM10 ░░░░░░░░░░░░░░░░░░░░ Pending ``` ## 仓库结构 ``` Ai-RedTeam-Lab/ │ ├── README.md # This file ├── check-list.md # Lab completion checklist ├── xfactor_of_AI.md # AI security research notes ├── AI_ML_LLM_pentesting_resources.pdf # Reference PDF │ ├── AI PenLLM01-LLM10/ # OWASP LLM Top 10 reference notes │ ├── LLM01.md – LLM10.md │ ├── LLM01_Prompt_Injection/ # LIVE — full working lab │ ├── kickstart.md │ ├── docker-compose.yml │ ├── Dockerfile │ ├── docker-entrypoint.sh │ ├── server.js │ ├── public/ # Web dashboard + guide viewer │ ├── docs/ # T1–T6 exercise workbooks │ ├── scenarios/ # Attack scenario configs │ ├── routes/ / services/ # Backend logic │ └── logs/ # Interaction audit log │ ├── LLM02_Sensitive_Information_Disclosure/ # Guide only ├── LLM03_Supply_Chain_Vulnerabilities/ # Guide only ├── LLM04_Data_Model_Poisoning/ # Guide only ├── LLM05_Improper_Output_Handling/ # Guide only ├── LLM06_Excessive_Agency/ # Guide only ├── LLM07_System_Prompt_Leakage/ # Guide only ├── LLM08_Vector_and_Embedding_Weaknesses/ # Guide only ├── LLM09_Misinformation/ # Guide only └── LLM10_Unbounded_Consumption/ # Guide only ``` ## 目标受众 本实验室面向： - **L1 / L2 安全运营** — 对 AI 攻击技术在生产环境中的实际接触 - **安全意识培训** — 结构化的 90 分钟练习，附带清晰的学习目标 - **红队赋能** — 评估集成 AI 应用程序的实用方法论 ## 实验室设计原则 - **仅限本地** — 不使用云服务，数据不会离开机器 - **真实的 AI，而非模拟** — 每个练习使用真实的语言模型，确保响应真实 - **先攻击者，后防御者** — 必须先成功攻击，才能学习防御 - **可移植** — 基于 Docker，可在任何安装了 Ollama 的 Ubuntu 主机上运行 - **渐进式** — 练习从初级到高级逐步提升 ## 贡献 每个新实验室模块遵循与 LLM01 相同的构建模式： 1. 一个可用的脆弱目标（本地 AI 应用、API 或管道） 2. 一个连接主机 Ollama 的 `docker-compose.yml` 3. 一个带有攻击界面和结果卡片的 Web 仪表板 4. `docs/` 目录下的 T1–Tn 练习文档 5. 用于安装的 `kickstart.md` 6. 一个 `{MODULE}_Guide.md`，用于 90 分钟结构化练习 如果要为新模块做贡献，请使用 `LLM01_Prompt_Injection/` 作为参考实现。

标签：AI安全, AI风险缓解, Chat Copilot, LLM评估, MITM代理, Ollama, OWASP LLM Top 10, Prompt注入, RAG注入, TinyLlama, Web仪表板, 上下文混淆, 人格注入, 供应链漏洞, 后端开发, 向量嵌入弱点, 多轮攻击, 大模型安全, 安全培训, 引导式练习, 提示提取, 本地部署, 模型投毒, 浏览器攻击环境, 系统提示泄露, 自托管, 请求拦截, 资源耗尽, 输出处理, 过度代理, 防御加固, 防御训练