GenAI-Security-Project/GenAI-Threat-Intelligence-Initiative
GitHub: GenAI-Security-Project/GenAI-Threat-Intelligence-Initiative
OWASP 生成式 AI 安全项目下的威胁情报倡议,为防御 GenAI 系统的安全从业者提供经过人工审核的、基于标准的战术级 AI 威胁情报与可操作指南。
Stars: 1 | Forks: 1
# OWASP GenAI Security Project 威胁情报倡议
**OWASP GenAI Security Project 的运营威胁情报层。**
威胁情报倡议成立于 2024 年,由以下人员创立并共同领导:
**Rachel James** ([GitHub](https://github.com/cybershujin) · [LinkedIn](https://www.linkedin.com/in/cybershujin))
和 **Bryan Nakayama** ([LinkedIn](https://www.linkedin.com/in/bryannakayama/))。
在 [OWASP GenAI 倡议页面](https://genai.owasp.org/initiatives/#ai-threat-intel)了解更多信息。
## 这是什么
LLM 和生成式 AI 的快速采用开启了一个传统 CTI 方法无法完全覆盖的威胁态势。该倡议填补了高级风险框架(OWASP LLM 应用程序 Top 10、CISO 治理清单)与安全运营团队检测和响应现实世界攻击所需的实操情报之间的**战术中间层**。
我们为在生产环境中防御 GenAI 系统的从业者——SOC 分析师、CTI 分析师、威胁猎人、应急响应人员、检测工程师、安全研究人员和 MLSecOps 团队——提供**基于威胁的、可操作的指南**。
## 范围 — 我们追踪的两个类别
- **类别 A — *利用* AI 发起攻击的威胁行为者。** LLM 增强型网络钓鱼、恶意软件开发、侦察和深度伪造欺诈。映射到 **MITRE ATT&CK** 以及自定义的 LLM-TTP 分类法。
- **类别 B — *攻击* AI 系统的威胁行为者。** 针对 AI/ML/LLM 系统的已确认的敌对(非研究人员)活动——提示词注入、RAG 中毒、模型供应链入侵。映射到 **MITRE ATLAS**。
**黄金法则:** 仅发布已确认、已归因、已引用的活动。在人类分析师将其标记为*分析师已确认 (Analyst Confirmed)* 之前,任何内容都不会上线。
## 我们正在构建什么
一个可持续的、由 OWASP 维护的 **AI-CTI 平台**,将经过精心策划的研究转化为基于标准的情报服务:
1. **AI 辅助收集 pipeline** — 自动发现新报告(包含来源),并结构化提取为候选记录:行为者、别名、简介、TTP 和引用。
2. **人工审核与批准** — 一个带有通知的轻量级 dashboard,分析师在此确认或更正每份草稿并设置发布门控。
3. **公共网站** — 发布两个类别的已确认条目。
4. **STIX 2.1 / TAXII 2.1 feed** — 一种机器可读的 feed,其他组织可以将其导入到他们的威胁情报平台(OpenCTI、MISP、SIEM)中。
数据以 **Git 为中心**:批准的记录在此 OWASP 组织中作为结构化的 YAML/JSON 存在,网站、STIX 包和 TAXII feed 均由它们生成。每份自动化草稿在发布前都会经过人类分析师的审核。
## 交付物(根据倡议章程)
- 关于活跃活动、新兴攻击模式和敌对 TTP 的威胁情报简报
- 针对特定 GenAI 威胁的 IOC / IOA(提示词注入模式、越狱尝试、模型提取和数据泄露签名)
- 检测工程指南(SIEM 规则、检测逻辑、监控框架)
- 针对性适配 GenAI 安全事件的应急响应 playbook
- 针对 AI 武器化及相关 TTP 的威胁行为者追踪
- 现实世界的攻击案例研究与经验教训
## 标准与互操作性
STIX / TAXII · MITRE ATT&CK · MITRE ATLAS · 行业标准 IOC 格式。我们参考权威来源而不是重复它们,并保持供应商/产品中立。
## 路线图
| 阶段 | 内容 | 状态 |
|---|---|---|
| 0 | 基础:OWASP repo、schema、迁移现有目录 | 🔨 进行中 |
| 1 | 发布现有语料库:网站 + STIX/TAXII feed | ⬜ 已计划 |
| 2 | AI 收集 pipeline + 支出上限 | ⬜ 已计划 |
| 3 | 审核 dashboard + 通知 | ⬜ 已计划 |
| 4 | Agentic-AI 事件数据交换 | ⬜ 已计划 |
| 5 | 强化、备份与维护者交接 | ⬜ 已计划 |
## 工作组
该倡议将其工作组织为涵盖威胁研究、检测工程、应急响应和敌对行为者追踪的小组,并定期举行社区会议以协调研究并讨论新兴威胁。
## 参与其中
- **审核员** — 每周约 1 小时用于确认条目。无需编写代码。
- **STIX / CTI 构建者** — 协助处理 TAXII feed 和 STIX 映射。
- **Pipeline / dashboard 构建者** — 构建收集 pipeline 和审核 dashboard。
作为构建阶段的一部分,本仓库的贡献指南和开源许可证正在最终确定中。
*OWASP GenAI Security Project — 威胁情报倡议。*
# Threat-Intelligence-Initiative
GenAI Security Project 威胁情报倡议的 Github 位置
标签:AI安全, Chat Copilot, DLL 劫持, Homebrew安装, 大语言模型, 威胁情报, 开发者工具, 网络安全, 网络安全研究, 隐私保护