sai-teja-girimaji/ai-security-governance-framework

# AI 安全治理框架

## 目的 大多数组织在其 SOC 中部署 AI 智能体，是因为供应商的演示看起来非常强大。但这些演示没有展示的是，当该智能体在凌晨 2:47 遇到真实环境，且没有分析师在旁监控时会发生什么。 本框架为在安全运营中心环境中部署 AI 智能体和基于 LLM 的工具提供了结构化的治理标准。它将既有标准（NIST AI RMF、OWASP LLM Top 10）与实际的 SOC 部署现实相结合。 ## 目标读者 - 评估 AI SOC 部署的安全架构师 - 设计人在回路治理的 SOC 负责人 - 为安全运营确立 AI 风险态势的 CISO - 构建辅助 AI 工作流的检测工程师 - 在受监管环境中评估 AI 风险的合规团队 ## 框架文档 | 文档 | 描述 | |---|---| | [NIST AI RMF SOC 映射](./NIST-AI-RMF-SOC-Mapping.md) | 映射到 SOC AI 用例的 GOVERN、MAP、MEASURE、MANAGE 控制 | | [OWASP LLM Top 10 控制](./OWASP-LLM-Top10-Controls.md) | 针对 SOC 上下文中每种 LLM 风险类别的防御性控制 | | [提示注入防御](./Prompt-Injection-Defense.md) | 输入验证、输出过滤和沙箱标准 | | [AI 智能体权限模型](./AI-Agent-Permission-Model.md) | SOC 环境中 AI 智能体的分级自主性框架 | | [SOC AI 就绪清单](./SOC-AI-Readiness-Checklist.md) | 允许任何自主 AI 行为之前的部署前检查清单 | ## 核心原则 本框架建立在三项不可妥协的原则之上。 **1. 风险优先于能力** 每一项 AI 能力的决策都始于风险评估，而非功能评估。如果你无法定义智能体可能采取的最坏自主行为，并确认企业能够承受其后果，那么该部署就尚未准备就绪。 **2. 分级自主** 自主 AI 行为是环境赋予的特权，而不是供应商默认授予的权限。权限级别在智能体层级强制执行，而非策略层级。 **3. 设计中内置人类监督** 人类检查点是技术控制，而非流程建议。依赖于有人保持清醒并监控的监督只是一种纸面上的控制，而不是真正的控制。 ## 范围 本框架涵盖部署在 SOC 运营中的 AI 系统，包括： - 集成 SIEM 的 AI 调查智能体 - 自动化警报分类和富化系统 - 辅助 AI 的检测工程工作流 - 基于 LLM 的威胁狩猎副驾驶 - 自主事件响应编排 - 用于 SOC 知识检索的安全 RAG 系统 ## 如何使用本框架 **对于初始 AI SOC 部署：** 从 [SOC AI 就绪清单](./SOC-AI-Readiness-Checklist.md) 开始。如果有任何项目未通过，请在继续之前解决它。 **对于治理设计：** 使用 [NIST AI RMF SOC 映射](./NIST-AI-RMF-SOC-Mapping.md)，使 AI 风险管理与你现有的风险框架保持一致。 **对于智能体架构：** 在开始任何智能体配置之前，使用 [AI 智能体权限模型](./AI-Agent-Permission-Model.md) 来定义自主层级。 **对于 LLM 安全审查：** 使用 [OWASP LLM Top 10 控制](./OWASP-LLM-Top10-Controls.md)，针对当前顶级风险类别评估你的 LLM 流水线。 **对于提示注入加固：** 使用 [提示注入防御](./Prompt-Injection-Defense.md) 标准作为技术实施参考。 ## 作者 **Sai Teja Girimaji** NTT DATA 云服务事业部网络安全能力负责人 [LinkedIn](https://www.linkedin.com/in/girimaji-saiteja-569b356a)  |  [作品集](https://saiteja-security.netlify.app) *这是一个动态框架。随着 AI 安全标准的发展，控制措施和映射关系将接受审查并不断更新。*

标签：AI安全, AI智能体权限模型, AI监管, AI风险管理, API密钥检测, Chat Copilot, CISA项目, CISO, CSP, IP 地址批量处理, MIT协议, NIST AI RMF, OWASP LLM Top 10, Security Governance, 人工智能合规, 人工智能安全, 人机协同, 企业安全, 合规性, 安全架构, 安全标准, 安全治理框架, 安全运营中心, 提示注入防御, 沙箱, 深度防御, 源代码安全, 网络安全, 网络映射, 网络资产管理, 输入验证, 输出过滤, 部署前检查单, 防御加固, 隐私保护