fred-ai-security/ai-security-assurance-labs

# 🔐 AI Security Assurance 实验室 — 工程作品集与研究笔记 ### 作者：Frederick Baffour **AI 安全保障 • LLM 红队测试 • 模型供应链安全** 本仓库包含以实践和工程为导向的 AI 安全保障工作。它展示了我如何使用真实的工具和可重复的工作流来评估、测试和记录 AI 模型，而不是仅仅提供理论示例。 此处的实验室反映了我如何在真实环境中应对 AI 模型风险：验证模型来源、校验制品、在对抗条件下测试模型行为，并为安全和工程团队清晰地记录发现结果。 这项工作的目标是展示贯穿模型整个生命周期的、实操性的 AI 安全保障评估，从引入和供应链检查，到红队测试、RAG 流水线安全、智能体 AI 评估、行为分析以及结构化报告。 ## 🧠 如何阅读本仓库 本仓库面向安全工程师、AI 工程师以及评估真实环境中应用 AI 安全保障能力的招聘经理。 各项制品的结构设计旨在确保清晰度和可重复性，同时反映了真实的 AI 安全保障工作流和评估模式。 每个部分都反映了常见的企业安全工作流，而不是假设性或学术性的示例。 设计选择强调清晰度、可重复性和可审计性，而非生产环境的优化。 本仓库的结构旨在镜像实际中 AI 安全保障工作的执行方式。 每个文件夹代表一个与真实企业安全职能相对应的独立安全领域。 读者可以按任何顺序浏览，但推荐的阅读路径是： 1. **模型引入与供应链安全** → `model-supply-chain/` 2. **模型行为与红队测试** → `red-teaming/` 3. **监控、漂移与运行时风险** → `model-monitoring/` 4. **治理、版本控制与可审计性** → `model-governance/` 5. **LLM 运维与推理流水线** → `llm-operations/` 每个部分被设计为独立成章，同时又共同构成一个端到端的 AI 安全保障生命周期。 # 🧭 本仓库展示的内容 本仓库展示了用于评估、验证和治理 AI 系统的端到端 AI 安全保障生命周期。 ### 1. **模型供应链安全** - 可信来源验证 - SHA-256 完整性检查 - YARA 静态分析 - ClamAV 恶意软件扫描 - SBOM 生成 (Syft / Grype) - 来源验证与文档记录 ### 2. **安全工具链完整性** - 使用 Sigcheck 进行二进制签名验证 - 验证 YARA、ClamAV、Sigcheck 及相关工具的可信来源 - 确保所有安全实用程序的供应链信任 ### 3. **LLM 红队测试与行为评估** - Garak 自动化 LLM 漏洞测试（跨越 10 个攻击类别的 1,280 个探针） - 使用 LLM-rubric 断言进行 Promptfoo 对抗性评估 - 越狱与提示注入分析 - 毒性、幻觉和拒绝绕过检测 - 双重裁决评估逻辑（关键词匹配 + LLM 裁判） - 真实的对抗场景与结构化缓解措施 ### 4. **RAG 流水线安全评估** - 检索中毒与上下文操控测试 - 通过检索文档进行的提示注入 - 通过检索进行越狱的攻击场景 - 包含 EXPLOITABLE / MITIGATED / PARTIAL 裁决的 18 项测试对抗性测试套件 - 带有置信度评分的 LLM 裁判评估 - 发现映射至 OWASP LLM Top 10 (2025) 和 MITRE ATLAS ### 5. **智能体 AI 安全评估** - 涵盖 8 个攻击类别的 ReAct agent 攻击测试套件 - 工具调用注入、目标劫持、权限提升和间接注入场景 - 记录了 100% 偏转率的 10 项场景评估 - 集成 FastMCP 服务器用于智能体工具安全测试 - 发现映射至 MITRE ATLAS、OWASP LLM Top 10 (2025) 和 NIST AI RMF ### 6. **AI 风险与模型安全治理** - 风险分类与关键性分级 - NIST AI RMF 对齐（治理 / 映射 / 度量 / 管理） - MITRE ATLAS 威胁映射 - ISO/IEC 42001 治理集成 - 文档模板与具备审计就绪状态的报告 - 基于严重程度的部署建议（包括 CONDITIONAL HOLD 结果） ### 7. **端到端引入流水线** 涵盖整个生命周期： **阶段 1 — 引入与完整性** → **阶段 2 — 供应链评估** → **阶段 3 — 红队测试与行为测试** → **阶段 4 — RAG 流水线安全** → **阶段 5 — 智能体 AI 安全** → **阶段 6 — 报告、风险与治理** 这种端到端的结构反映了真实的企业 AI 安全保障工作流。 # 📂 仓库结构 ``` ai-security-assurance-labs/ │ ├── model-supply-chain/ # Supply-chain integrity, SBOM, provenance ├── red-teaming/ # Garak, PyRIT, Promptfoo adversarial testing │ ├── garak/ │ ├── promptfoo/ │ └── rag/ # RAG pipeline adversarial harness ├── model-monitoring/ # Drift detection, runtime risk monitoring ├── model-governance/ # Risk classification, versioning, auditability ├── llm-operations/ # Inference pipelines, LLM operations ├── static-analysis/ # YARA, ClamAV, binary scanning ├── docs/ # Lab setup and prerequisites │ └── lab-setup.md ├── DEVELOPMENT_NOTES.md # Engineering methodology and AI disclosure ├── LICENSE └── README.md ``` # 🚀 如何浏览（从这里开始） ## 👥 **面向招聘人员 / 非技术审查人员** 从以下内容开始： - `model-supply-chain/` — AI 模型在使用前是如何验证的 - `red-teaming/garak/` — 自动化对抗性测试结果 - `DEVELOPMENT_NOTES.md` — 方法论与工程决策 这些文件展示了 AI 模型是如何进行端到端评估的，以及发现结果是如何被记录的。 ## 🛡 **面向招聘经理 / 安全工程师** 从以下内容开始： - `model-supply-chain/` — SBOM 生成、来源验证、完整性哈希 - `red-teaming/` — Garak、PyRIT 和 Promptfoo 对抗性测试套件 - `red-teaming/rag/` — RAG 流水线安全评估与 LLM 裁判架构 - `docs/lab-setup.md` — 环境配置、已接受的风险、模型选择依据 这些展示了真实的实操工程工作流。 ## 🔄 **面向全生命周期理解** 按顺序阅读： 1. `model-supply-chain/` — 引入与供应链验证 2. `red-teaming/` — 基础模型对抗性测试 3. `red-teaming/rag/` — RAG 流水线安全 4. `model-monitoring/` — 漂移与运行时风险 5. `model-governance/` — 风险分类与治理对齐 6. `DEVELOPMENT_NOTES.md` — 评估结果与方法论 这展示了从引入到治理的完整 AI 安全保障生命周期。 # 🛠️ 展示的工具与技术 本实验室使用了现代 AI 安全保障工程中的真实工具，包括： - **Garak** — 自动化 LLM 漏洞测试 - **Promptfoo** — 使用 LLM-rubric 断言进行结构化对抗性评估 - **Microsoft PyRIT** — 红队测试编排与越狱场景 - **YARA** — 基于模式的静态分析 - **ClamAV** — 恶意软件签名扫描 - **Sigcheck** — 二进制签名验证 - **Syft / Grype** — SBOM 生成与 CVE 扫描 - **SHA-256 哈希** — 完整性验证 - **Ollama** — 本地模型执行与测试 - **LangChain / ChromaDB** — RAG 流水线与向量存储 - **FastMCP** — 用于智能体安全测试的智能体工具服务器 **框架与标准** - NIST AI RMF - MITRE ATLAS - OWASP LLM Top 10 (2025) - ISO/IEC 42001 - NIST SP 800-53 Rev. 5 # 🎯 本作品集的目的 本仓库展示了我的以下能力： - 跨越完整的模型生命周期执行**端到端 AI 安全保障** - 设计并实施**真实的安全评估流水线** - 使用企业级工具进行 **LLM 红队测试** - 评估 **RAG 流水线安全**与检索层攻击面 - 跨越多工具和多智能体架构评估**智能体 AI 安全** - 评估**模型安全、治理和风险** - 以**具备审计就绪状态、控制映射的格式**记录流程 - 将技术发现转化为治理控制和部署建议 它反映了我在实践中执行 AI 安全保障工作的方式。 # 📬 联系方式 **Frederick Baffour** AI 安全保障工程师 LinkedIn: https://www.linkedin.com/in/frederick-baffour Email: fbaffour@gmail.com *最后更新：2026*

标签：AES-256, AI安全, AI安全工作流, AI安全治理, AI智能体评估, AI风险缓解, Chat Copilot, CISA项目, CSV导出, Go语言工具, LLM红队测试, RAG管道安全, SBOM验证, 云安全监控, 人工智能安全, 人工智能治理, 企业级AI安全, 可信AI, 合规性, 大语言模型安全, 威胁建模, 安全合规, 安全工程, 对抗性机器学习, 机密管理, 模型供应链安全, 模型监控与漂移, 模型行为分析, 模型运行时风险, 模型验证, 漏洞评估, 网络代理, 网络安全, 跌倒检测, 软件物料清单, 逆向工具, 防御对抗, 隐私保护, 静态分析, 风险评估与分类