Azcerate/ai-red-team-orchestrator

# airt — AI 红队编排器与合规报告生成器 测试 LLM 聊天机器人、RAG 助手和 AI 功能，针对提示注入、越狱、数据泄露、RAG/金丝雀数据提取、过度授权、不安全输出、上下文溢出和速率限制弱点进行测试，然后生成 **OWASP LLM Top 10 (2025) / MITRE ATLAS / NIST CSF 2.0** 映射报告和 **CI 回归门**。 ## 功能 - **探测引擎：** 基于代码的攻击探测（非静态 CSV），通过 *变异器* 自动扩展（一个有效载荷 → base64/rot13/leet/… 变体）。运行 `airt probes list`。 - **互操作性：** 摄入外部运行器 — `airt import-garak` 将 NVIDIA garak 报告映射到同一管道。 - **可插拔的裁判：** 本地 `ollama`（默认）或托管 `anthropic` / `openai`（无需 GPU）。 - **两阶段检测：** 确定性短语/金丝雀检查 + LLM 裁决；金丝雀命中是真实情况。 - **可防御的评分：** ASR 与明确的分母；低置信度发现被限制，而不是膨胀。 - **框架映射：** OWASP LLM 2025、MITRE ATLAS、NIST CSF 2.0。 - **客户端级报告：** Markdown + HTML（+ 通过 WeasyPrint 的 PDF）。 - **回归门：** 基线差异 + 阈值 + CI 退出代码。 - **裁判验证（工作流程）：** 标记一个黄金集 → 在引用任何可靠性数字之前测量精确度 / 召回率 / F1 / Cohen 的 κ。 ## 架构 ``` orchestrator/ core · config · corpus · runners · judges · scoring · frameworks · evidence · reporting · gates · validation · storage · cli.py config/ target/campaign/judge/scoring/gate/report YAML corpus/ id,technique,prompt CSVs (category set per-campaign; technique doubles as canary phrase) ``` ## 许可证 MIT — 查看 [LICENSE](LICENSE）。由 Anthony N. Saunders（MSCS、CISM、CISA）构建。

标签：AI漏洞检测, AI红队工具, Cloudflare, CSV数据, HTML报告, LLM安全测试, Markdown报告, MITRE ATLAS, MITRE ATT&CK, NIST CSF 2.0, OWASP LLM Top 10, PDF报告, YAML配置, 两阶段检测, 互操作性, 人工智能安全, 代码攻击探测, 可防御评分, 合规性, 命令行界面, 回归测试门, 存储管理, 安全合规, 安全报告生成, 插件式评分, 框架映射, 法官验证, 网络代理, 请求拦截, 逆向工具