GenAI-Security-Project/GenAI-Threat-Intelligence-Initiative

GitHub: GenAI-Security-Project/GenAI-Threat-Intelligence-Initiative

OWASP 生成式 AI 安全项目下的威胁情报倡议,为防御 GenAI 系统的安全从业者提供经过人工审核的、基于标准的战术级 AI 威胁情报与可操作指南。

Stars: 1 | Forks: 1

# OWASP GenAI Security Project 威胁情报倡议 **OWASP GenAI Security Project 的运营威胁情报层。** 威胁情报倡议成立于 2024 年,由以下人员创立并共同领导: **Rachel James** ([GitHub](https://github.com/cybershujin) · [LinkedIn](https://www.linkedin.com/in/cybershujin)) 和 **Bryan Nakayama** ([LinkedIn](https://www.linkedin.com/in/bryannakayama/))。 在 [OWASP GenAI 倡议页面](https://genai.owasp.org/initiatives/#ai-threat-intel)了解更多信息。 ## 这是什么 LLM 和生成式 AI 的快速采用开启了一个传统 CTI 方法无法完全覆盖的威胁态势。该倡议填补了高级风险框架(OWASP LLM 应用程序 Top 10、CISO 治理清单)与安全运营团队检测和响应现实世界攻击所需的实操情报之间的**战术中间层**。 我们为在生产环境中防御 GenAI 系统的从业者——SOC 分析师、CTI 分析师、威胁猎人、应急响应人员、检测工程师、安全研究人员和 MLSecOps 团队——提供**基于威胁的、可操作的指南**。 ## 范围 — 我们追踪的两个类别 - **类别 A — *利用* AI 发起攻击的威胁行为者。** LLM 增强型网络钓鱼、恶意软件开发、侦察和深度伪造欺诈。映射到 **MITRE ATT&CK** 以及自定义的 LLM-TTP 分类法。 - **类别 B — *攻击* AI 系统的威胁行为者。** 针对 AI/ML/LLM 系统的已确认的敌对(非研究人员)活动——提示词注入、RAG 中毒、模型供应链入侵。映射到 **MITRE ATLAS**。 **黄金法则:** 仅发布已确认、已归因、已引用的活动。在人类分析师将其标记为*分析师已确认 (Analyst Confirmed)* 之前,任何内容都不会上线。 ## 我们正在构建什么 一个可持续的、由 OWASP 维护的 **AI-CTI 平台**,将经过精心策划的研究转化为基于标准的情报服务: 1. **AI 辅助收集 pipeline** — 自动发现新报告(包含来源),并结构化提取为候选记录:行为者、别名、简介、TTP 和引用。 2. **人工审核与批准** — 一个带有通知的轻量级 dashboard,分析师在此确认或更正每份草稿并设置发布门控。 3. **公共网站** — 发布两个类别的已确认条目。 4. **STIX 2.1 / TAXII 2.1 feed** — 一种机器可读的 feed,其他组织可以将其导入到他们的威胁情报平台(OpenCTI、MISP、SIEM)中。 数据以 **Git 为中心**:批准的记录在此 OWASP 组织中作为结构化的 YAML/JSON 存在,网站、STIX 包和 TAXII feed 均由它们生成。每份自动化草稿在发布前都会经过人类分析师的审核。 ## 交付物(根据倡议章程) - 关于活跃活动、新兴攻击模式和敌对 TTP 的威胁情报简报 - 针对特定 GenAI 威胁的 IOC / IOA(提示词注入模式、越狱尝试、模型提取和数据泄露签名) - 检测工程指南(SIEM 规则、检测逻辑、监控框架) - 针对性适配 GenAI 安全事件的应急响应 playbook - 针对 AI 武器化及相关 TTP 的威胁行为者追踪 - 现实世界的攻击案例研究与经验教训 ## 标准与互操作性 STIX / TAXII · MITRE ATT&CK · MITRE ATLAS · 行业标准 IOC 格式。我们参考权威来源而不是重复它们,并保持供应商/产品中立。 ## 路线图 | 阶段 | 内容 | 状态 | |---|---|---| | 0 | 基础:OWASP repo、schema、迁移现有目录 | 🔨 进行中 | | 1 | 发布现有语料库:网站 + STIX/TAXII feed | ⬜ 已计划 | | 2 | AI 收集 pipeline + 支出上限 | ⬜ 已计划 | | 3 | 审核 dashboard + 通知 | ⬜ 已计划 | | 4 | Agentic-AI 事件数据交换 | ⬜ 已计划 | | 5 | 强化、备份与维护者交接 | ⬜ 已计划 | ## 工作组 该倡议将其工作组织为涵盖威胁研究、检测工程、应急响应和敌对行为者追踪的小组,并定期举行社区会议以协调研究并讨论新兴威胁。 ## 参与其中 - **审核员** — 每周约 1 小时用于确认条目。无需编写代码。 - **STIX / CTI 构建者** — 协助处理 TAXII feed 和 STIX 映射。 - **Pipeline / dashboard 构建者** — 构建收集 pipeline 和审核 dashboard。 作为构建阶段的一部分,本仓库的贡献指南和开源许可证正在最终确定中。 *OWASP GenAI Security Project — 威胁情报倡议。* # Threat-Intelligence-Initiative GenAI Security Project 威胁情报倡议的 Github 位置
标签:AI安全, Chat Copilot, DLL 劫持, Homebrew安装, 大语言模型, 威胁情报, 开发者工具, 网络安全, 网络安全研究, 隐私保护