matrixsechub/ai-security-framework

# MatrixSecHub AI‑Cybersecurity 套件 [](https://www.python.org/) [](LICENSE) []() []() ## 概述 **MatrixSecHub AI‑Cybersecurity Suite** 是一个生产级、多智能体 AI 安全框架，专为企业威胁检测、对抗性红队演练、合规治理和自主安全运营而设计。该套件基于 **CrewAI** 和 **Microsoft AutoGen** 构建，展示了如何在高危安全环境中，通过严格的角色约束、检索增强落地和持续评估流水线，安全地编排大型语言模型 (LLM) 智能体。 本仓库是 **MatrixSecHub** AI 安全平台的参考架构——这是一个由 AI 安全架构师设计并为其服务的系统，该系统将模型行为、提示注入攻击面和智能体信任边界视为首要的工程关注点。 ## 架构图 ``` ┌──────────────────────────────────────────────────────────────────┐ │ Orchestration Layer (CrewAI) │ │ ┌─────────────┐ ┌──────────────┐ ┌──────────────────────┐ │ │ │ Security │ │ Threat │ │ Red‑Team │ │ │ │ Analyst │◄─┤ Modeling │◄─┤ Adversary │ │ │ │ Agent │ │ Agent │ │ Agent │ │ │ └──────┬──────┘ └──────┬───────┘ └──────────────────────┘ │ │ │ │ │ │ ┌──────▼────────────────▼──────────────────────────────────┐ │ │ │ Compliance / Governance Agent │ │ │ └──────────────────────────┬───────────────────────────────┘ │ └──────────────────────────────┼───────────────────────────────────┘ │ ┌─────────────────────▼──────────────────────┐ │ RAG Grounding Pipeline │ │ ┌──────────────┐ ┌─────────────────────┐ │ │ │ Vector Store│ │ NIST / MITRE / CVE │ │ │ │ (Chroma / │ │ Knowledge Bases │ │ │ │ Pinecone) │ │ │ │ │ └──────────────┘ └─────────────────────┘ │ └────────────────────────────────────────────┘ │ ┌─────────────────────▼──────────────────────┐ │ Evaluation & Audit Pipeline │ │ Rubric Scoring │ Hallucination Guards │ Logs│ └────────────────────────────────────────────┘ ``` ## 核心组件 ### 1. 多智能体编排 该套件部署了四个在严格角色隔离下运行的专业智能体： | 智能体 | 主要功能 | 信任级别 | |---|---|---| | **Security Analyst** | 分诊、丰富、SIEM 关联 | 中 — 只读工具访问权限 | | **Threat Modeling** | STRIDE/PASTA 分析、攻击面映射 | 中 — 仅限结构化输出 | | **Red‑Team Adversary** | 对抗模拟、TTPs 生成 | 低 — 沙箱化，输出需审查 | | **Compliance/Governance** | NIST AI RMF、SOC 2、策略执行 | 高 — 拥有否决权 | 智能体通过类型化消息总线进行通信。任何智能体都不能绕过合规智能体的策略网关直接调用外部 API。 ### 2. 角色约束提示词 (符合 NIST / SOC 2 标准) 每个系统提示词均强制执行： - **最小权限推理**：智能体的作用域仅限其领域；跨领域推断将被标记。 - **输出 schema 约束**：结构化的 JSON/YAML 输出可防止提示注入导致的数据泄露。 - **拒绝服务防护机制**：智能体会拒绝可能触发无限工具循环的请求。 - **符合 NIST AI RMF**：治理、映射、测量、管理 功能已嵌入智能体目标中。 - **SOC 2 信任服务标准**：安全性、可用性和机密性原则指导着数据处理指令。 提示词模板是版本化且可审计的。参见 [`prompt_templates.py`](prompt_templates.py)。 ### 3. RAG 落地流水线 智能体以精选的、版本化的知识库为基础进行落地，以防止在安全关键输出中出现幻觉： - **MITRE ATT&CK** (Enterprise, ICS, Mobile) — 用于威胁建模的 TTP 检索 - **NIST NVD / CVE 数据源** — 实时漏洞上下文 - **NIST SP 800‑53 / CSF 2.0** — 用于合规输出的控制映射 - **内部操作手册语料库** — 组织特定的 IR (应急响应) 程序 检索使用混合稠密+稀疏搜索策略（嵌入相似度 + BM25 关键词匹配）并带有置信度阈值网关。引用检索来源置信度低于阈值的响应将被标记以供人工审查。 ### 4. 评估工作流 每个智能体的输出在向下游传递之前，都会经过多阶段评估标准的检验： ``` Agent Output │ ▼ [Schema Validation] ──FAIL──► Rejection + Retry (max 3) │ PASS ▼ [Factual Grounding Check] ──LOW CONFIDENCE──► Human Review Queue │ PASS ▼ [Policy Gate (Compliance Agent)] ──BLOCKED──► Audit Log + Alert │ APPROVED ▼ [Downstream Consumer / SIEM / Ticketing] ``` 评估分数会记录到结构化的审计跟踪中，并与 SIEM（Splunk、Elastic、Chronicle）摄取兼容。 ### 5. 威胁建模集成 威胁建模智能体会生成结构化的 STRIDE 分析产物： - 从 CMDB 或手动输入中摄取的**资产清单** - 用于识别信任边界的**数据流图** (DFD) 遍历 - 具有 CVSS 对齐严重性评分的 **STRIDE 分类** - 针对每个已识别威胁的 **MITRE ATT&CK 映射** - 与 NIST SP 800‑53 交叉引用的**推荐控制措施** 输出为机器可读的 JSON 威胁模型，适合导入到诸如 IriusRisk、ThreatDragon 等工具或自定义 ASPM 平台。 ## 为什么本仓库能体现 AI 安全工程 本代码库体现了**安全工程规范**与**AI 系统架构**的交汇： 1. **智能体信任边界被视为安全基元**——而非事后补充。每个智能体都有明确的信任级别、工具权限集和内存作用域。 2. **提示注入被视为首要威胁**——系统提示词在设计时已考虑抗注入能力；用户控制的输入永远不会直接拼接到特权提示上下文中。 3. **RAG 落地降低了幻觉风险**——在安全工具中，虚构的 CVE 或错误归因的 TTP 可能会触发虚假的事件响应。落地流水线强制要求引用来源。 4. **评估是持续的，而非终结性的**——标准评估钩子运行在每次智能体交接时，而不仅是在流水线出口，从而能够及早发现模型漂移或对抗性提示操纵。 5. **合规性是架构性的**——NIST AI RMF 和 SOC 2 控制措施已嵌入到智能体设计中，而不是事后补丁。 6. **对抗性智能体在设计上是沙箱化的**——Red‑Team 智能体在隔离上下文中运行，其输出在任何产物离开流水线之前需经由 Compliance Agent 审查。 ## 技术栈 | 层级 | 技术 | |---|---| | 智能体编排 | CrewAI 0.28+, Microsoft AutoGen 0.2+ | | LLM 后端 | OpenAI GPT‑4o, Azure OpenAI, Anthropic Claude | | 向量存储 | ChromaDB (本地), Pinecone (生产) | | 嵌入模型 | OpenAI `text-embedding-3-large` | | 评估 | DeepEval, 自定义标准引擎 | | 可观测性 | LangSmith, OpenTelemetry, Splunk HEC | | 基础设施 | Docker, Kubernetes, Azure AKS | | 密钥管理 | HashiCorp Vault, Azure Key Vault | ## 入门指南 ``` git clone https://github.com/matrixsechub/ai-security-framework.git cd ai-security-framework python -m venv .venv && source .venv/bin/activate pip install -r requirements.txt cp .env.example .env # populate API keys via Vault or env injection python pipeline_scaffold.py --mode analyst --input examples/sample_alert.json ``` ## 安全注意事项 - 所有 API 密钥必须通过环境变量或密钥管理器注入。源代码中严禁包含凭证。 - 未经明确的人工介入 审批，严禁针对生产基础设施运行 Red‑Team Adversary Agent。 - RAG 知识库必须实施访问控制；向量库中可能包含敏感的组织数据。 - LLM 输出**仅供参考**——所有高严重性发现必须在采取行动前由人工分析师审查。 ## 许可证 MIT License。参见 [LICENSE](LICENSE)。 *MatrixSecHub AI‑Cybersecurity Suite — 专为那些深谙 AI 既是工具也是威胁面的安全工程师而架构。*

标签：AI安全, AutoGen, Chat Copilot, CISA项目, CrewAI, FTP漏洞扫描, LLM代理, NIST AI RMF, PyRIT, Python, RAG技术, SOC 2, 企业安全, 信任边界, 反取证, 合规治理, 多智能体系统, 大模型安全, 威胁建模, 子域名突变, 安全分析师, 安全架构, 安全编排, 安全评估, 实时处理, 密码管理, 敌手模拟, 无后门, 检索增强生成, 用户代理, 网络安全, 网络资产管理, 自动化防御, 请求拦截, 逆向工具, 隐私保护