zaratr/ai-red-team-lab

# AI 红队实验室 这是一个攻击性 AI 安全实验室，用于对 LLM 目标运行对抗性探测、将发现结果映射到标准框架，以及发布结构化的漏洞报告。旨在展示**实际的对抗经验**——将项目作品转化为可验证、与分类法保持一致的红队发现结果。 ## 目的 该实验室将 Microsoft 的《Lessons From Red Teaming 100 Generative AI Products》（2025 年 1 月）和 PyRIT 框架中描述的方法论进行了操作化落地。它是我的防御性项目的攻击性对应项目： - **[guardrailed-llm-agent-system](https://github.com/zaratr/guardrailed-llm-agent-system)** — 我在此处构建并攻破的 NeMo Guardrails 防御。 - **[AI-Observability-Monitoring-Service](https://github.com/zaratr/AI-Observability-Monitoring-Service)** — 此处使用的 LLM-as-a-Judge 评分器，用于确定对抗性输入是否成功。 - **[Zero-Trust-LLM-Access-Layer](https://github.com/zaratr/Zero-Trust-LLM-Access-Layer)** — 我用于寻找注入/过滤失败的红队目标（AI 安全网关）。 ## 展示内容 - 针对本地 LLM 目标（Ollama/Gemma）的 **Garak** 和 **PyRIT** 实操 - 为每个发现结果进行 **MITRE ATLAS** 战术/技术映射 - 与 **OWASP Top 10 for LLM Applications (2025)** 类别对齐（LLM01 Prompt Injection、LLM02 Sensitive Information Disclosure、LLM05 Improper Output Handling、LLM06 Excessive Agency、LLM07 System Prompt Leakage、LLM08 Vector and Embedding Weaknesses） - （针对每个目标的）结构化漏洞报告 - 集成 CI 的红队演练——在 push 时运行扫描，并自动发布发现结果 ## 仓库结构 ``` ai-red-team-lab/ ├── README.md # methodology + findings index ├── targets/ │ ├── local_models/ # Ollama/Gemma target configs │ └── guardrailed_agent/ # the guardrailed-llm-agent-system as a target ├── probes/ │ ├── garak_scans/ # garak probe configs + results │ ├── pyrit_attacks/ # PyRIT attack datasets (prompt injection, jailbreak) │ └── custom/ # hand-crafted adversarial prompts ├── scoring/ │ └── llm_as_judge_scorer.py # uses LLM-as-a-Judge as the success scorer ├── findings/ │ ├── ATLAS_mapping.md # each finding → MITRE ATLAS tactic/technique │ ├── OWASP_LLM_mapping.md # each finding → OWASP LLM Top 10 category │ └── reports/ # structured vulnerability reports (per target) └── .github/workflows/ └── redteam.yml # CI runs scans on push → publishes findings ``` ## 方法论 1. **目标选择** — 本地 Ollama 模型（Gemma）以及我自己的受护栏保护的 agent（我构建的防御措施，现作为攻击目标）。 2. **探测执行** — 运行 Garak 漏洞扫描和 PyRIT 攻击数据集；辅以手工制作的对抗性 prompt（prompt injection、越狱、多轮操纵）。 3. **成功评分** — LLM-as-a-Judge 确定对抗性输入是否绕过了目标的护栏或策略。 4. **框架映射** — 将每个确认的发现结果映射到 MITRE ATLAS 战术/技术和 OWASP LLM Top 10 类别。 5. **结构化报告** — 在标准化的漏洞报告中记录发现结果（目标、攻击向量、OWASP/ATLAS 类别、严重程度、建议的缓解措施）。 ## 参考框架 - [MITRE ATLAS](https://atlas.mitre.org/) — AI 系统对抗性威胁图谱（Adversarial Threat Landscape for AI Systems） - [OWASP Top 10 for LLM Applications (2025)](https://genai.owasp.org/llm-top-10/) - [NIST AI RMF](https://www.nist.gov/itl/ai-risk-management-framework) — MEASURE 职能 - [Garak](https://docs.nvidia.com/nemo/guardrails/evaluation/llm-vulnerability-scanning) — NVIDIA 的 LLM 漏洞扫描器 - [PyRIT](https://github.com/Azure/PyRIT) — Microsoft 的 Python Risk Identification Toolkit ## 状态 工作正在进行中——探测配置、初步发现结果和 CI 工作流将逐步添加。

标签：AI安全, AI风险缓解, Chat Copilot, DLL 劫持, LLM红队, 大语言模型, 逆向工具