madhucnghubphilips/AI-Security
GitHub: madhucnghubphilips/AI-Security
基于OWASP Top 10 for LLM框架的AI安全学习与实践指南,聚焦大语言模型应用的十大核心安全风险及其缓解措施。
Stars: 0 | Forks: 0
# AI 安全
这是关于 OWASP Top 10 LLM、动手实践与缓解措施的代码库







LLM 应用 OWASP Top 10 简介
人工智能和大语言模型(LLM)的快速普及正在改变组织构建应用程序、自动化运营以及与用户交互的方式。从 AI 聊天机器人和副驾驶,到自主智能体和企业自动化平台,LLM 正成为现代数字生态系统的核心组成部分。 然而,伴随创新而来的是新一代的安全风险。传统的应用程序安全控制已不足以保护 AI 驱动的系统。LLM 引入了独特的攻击面,例如 Prompt 注入、敏感信息泄露、模型投毒、过度越权、系统 Prompt 泄露以及向量数据库攻击。 为了应对这些新兴威胁,OWASP Foundation 发布了 LLM 应用 OWASP Top 10 —— 这是一个全球认可的意识和风险管理框架,专注于保护 AI 和生成式 AI 生态系统。 ##LLM 的 OWASP Top 10 可帮助组织:
了解最关键的 AI 安全风险 保护 AI 驱动的应用程序和工作流 实施安全设计(Secure-by-Design)的 AI 架构 为生成式 AI 的采用构建治理和合规控制 在整个 SDLC 中实现安全的 AI 创新 ##该框架重点介绍了影响基于 LLM 的系统最严重的漏洞,包括:
1. LLM01 - Prompt 注入 2. LLM02 - 敏感信息泄露 3. LLM03 - 供应链漏洞 4. LLM04 - 数据和模型投毒 5. LLM05 - 不当输出处理 6. LLM06 - 过度越权 7. LLM07 - 系统 Prompt 泄露 8. LLM08 - 向量和嵌入弱点 9. LLM09 - 虚假信息 10. LLM10 - 无限制消耗 在当今 AI 驱动的世界中,保护 LLM 应用程序不再是可选项 —— 它是一项关键的业务、隐私和运营要求。主动采用 AI 安全、治理和安全 AI 工程实践的组织,将更有能力进行安全创新、保护敏感数据并维护客户信任。标签:AI安全, C2, Chat Copilot, CISA项目, DLL 劫持, meg, RAG, Web安全, 代码安全, 企业安全, 信息安全, 向量数据库, 大语言模型, 安全供应链, 安全提示词设计, 密码管理, 数据泄露防护, 检索增强生成, 模型投毒, 漏洞枚举, 生成式AI, 索引, 网络安全, 网络探测, 网络资产管理, 蓝队分析, 越权操作, 隐私保护, 风险控制