manojrammurthy/awesome-llm-security

# Awesome LLM Security：事件、提示注入、RAG、Agent 和 AI 供应链风险     一份精心整理的 LLM 安全事件、提示注入研究、检索增强生成攻击模式、Agent 安全故障、AI 供应链漏洞、CVE 参考以及生产级 AI 系统防御指南的列表。 本仓库专为安全工程师、红队成员、AI 平台团队、研究人员和构建者设计，他们需要关于大语言模型安全、AI 应用威胁、RAG 安全、Agent 系统滥用以及自托管 AI 平台风险的实用参考资料。 ## 目录 - [简介](#intro) - [为何存在此仓库](#why-this-repository-exists) - [时间线](#timeline) - [分类](#categories) - [亮点](#highlights) - [RAG 攻击流程](#rag-attack-flow) - [仓库布局](#repository-layout) - [如何使用本仓库](#how-to-use-this-repo) - [参考资料与来源](#references-and-sources) - [搜索主题](#search-topics) - [贡献](#contributing) - [约定](#conventions) ## 简介 大语言模型安全不仅仅局限于模型对齐或越狱。现实世界的 AI 风险出现在提示词、检索管道、向量数据库、Agent 工具、网关、SDK、插件、日志、浏览器会话以及周边基础设施中。 本仓库重点关注： - 2023 年至 2026 年间的 LLM 安全事件和值得注意的披露 - 提示注入、间接提示注入和系统提示词泄露模式 - RAG 安全问题，包括检索投毒、文档注入和数据泄露 - Agent 安全风险，例如不安全的工具使用、内存投毒、过度代理和绕过审批 - 代理、包装器、编排层和自托管平台中的 AI 供应链问题 - AI 相关工具、服务堆栈和 LLM 应用基础设施的 CVE 参考 ## 为何存在此仓库 搜索 `LLM security incidents`、`prompt injection examples`、`RAG attack flow`、`AI agent vulnerabilities`、`LiteLLM breach`、`Open WebUI CVEs` 或 `LLM CVEs` 的团队通常只能找到零散的博客文章或孤立的公告。本仓库将这些主题整合到一个易于导航的结构中，包含时间线、分类、案例研究、图表、参考资料和从业者指南。 ## 时间线 共有 50 个事件、披露和攻击研究条目按年份组织。 - [2023 年时间线](timeline/2023.md) - [2024 年时间线](timeline/2024.md) - [2025 年时间线](timeline/2025.md) - [2026 年时间线](timeline/2026.md) ## 分类 规范分类页面： - [提示安全](categories/prompt.md) - [RAG 安全](categories/rag.md) - [Agent 安全](categories/agents.md) - [供应链安全](categories/supply-chain.md) 为保持导航稳定性而保留的旧版别名页面： - [提示攻击](categories/prompt-attacks.md) - [RAG 攻击](categories/rag-attacks.md) - [Agent 攻击](categories/agent-attacks.md) - [数据投毒](categories/data-poisoning.md) - [平台滥用](categories/platform-abuse.md) ## 亮点 - [LiteLLM 攻击](case-studies/litellm-attack.md) - [Claude 命令绕过](case-studies/claude-command-bypass.md) - [与 LiteLLM 相关的 Mercor 数据泄露](case-studies/mercor-litellm-breach.md) - [RoguePilot](case-studies/roguepilot.md) - [Whisper 泄露](case-studies/whisper-leak.md) - [LLM 威胁模型指南](guides/llm-threat-model.md) - [安全架构指南](guides/secure-architecture.md) - [RAG 攻击流程图](diagrams/rag-attack-flow.md) - [AI 和 LLM CVE 参考](references/cves.md) ## RAG 攻击流程 ``` flowchart LR A[Attacker-controlled content] --> B[Ingestion or indexing pipeline] B --> C[Vector store or document store] C --> D[Retriever selects poisoned chunk] D --> E[Prompt assembly] E --> F[LLM interprets malicious instructions as trusted context] F --> G[Unsafe answer or tool invocation] G --> H[Data exposure, policy bypass, or harmful action] I[Controls] -.-> B I -.-> D I -.-> E I -.-> G ``` 如需完整拆解，请参阅 [RAG 攻击流程图](diagrams/rag-attack-flow.md)。 ## 仓库布局 ``` . ├── README.md ├── categories │ ├── agent-attacks.md │ ├── agents.md │ ├── data-poisoning.md │ ├── platform-abuse.md │ ├── prompt-attacks.md │ ├── prompt.md │ ├── rag-attacks.md │ ├── rag.md │ └── supply-chain.md ├── case-studies │ ├── claude-command-bypass.md │ ├── litellm-attack.md │ ├── mercor-litellm-breach.md │ ├── roguepilot.md │ └── whisper-leak.md ├── diagrams │ └── rag-attack-flow.md ├── guides │ ├── llm-threat-model.md │ ├── rag-security-checklist.md │ ├── secure-architecture.md │ └── secure-llm-architecture.md ├── references │ ├── cves.md │ └── sources.md └── timeline ├── 2023.md ├── 2024.md ├── 2025.md └── 2026.md ``` ## 如何使用本仓库 - 如果您需要历史示例和值得注意的披露，请从 [时间线](timeline/2023.md) 文件开始。 - 如果您需要反复出现的攻击模式和防御思路，请使用 [分类](categories/prompt.md) 页面。 - 使用 [案例研究](case-studies/litellm-attack.md) 查看代表性故障的深入分析。 - 使用 [指南](guides/llm-threat-model.md) 进行威胁建模、架构审查和安全清单工作。 - 在审查自托管或 AI 相关组件时，请使用 [CVE 参考索引](references/cves.md)。 - 如果您需要本仓库背后的公共参考资料集，请使用 [来源索引](references/sources.md)。 ## 参考资料与来源 - [CVE 索引](references/cves.md) - [来源索引](references/sources.md) ## 搜索主题 此处涵盖的常见主题包括： - LLM 安全事件 - AI 安全案例研究 - 提示注入示例 - 间接提示注入 - RAG 安全清单 - RAG 攻击流程 - AI Agent 安全风险 - LLM CVEs - LiteLLM 入侵 - Mercor 数据泄露 - Open WebUI 漏洞 - Ollama 漏洞 - LangChain 漏洞 - vLLM 漏洞 - Langflow 漏洞 ## 贡献 请参阅 [CONTRIBUTING.md](CONTRIBUTING.md) 了解贡献指南、范围、风格以及如何添加新事件或 CVE。 ## 约定 - 时间线索目简洁明了，并使用一致的格式。 - 部分条目是公开事件，部分是 CVE 披露，部分是值得注意的攻击研究。 - `CVE: None public` 表示没有已知的公开 CVE，或者该条目主要不是 CVE 追踪的问题。 - 在有用的地方，旧版文件名作为别名保留，但规范页面使用较短的文件名。 - 本仓库是一个实用的起点，并不声称涵盖所有内容。

标签：AI供应链安全, AI风险缓解, Awesome List, C2, CISA项目, CVE, DLL 劫持, IP 地址批量处理, Jailbreak, RAG攻击, RuleLab, 人工智能安全, 合规性, 向量数据库, 大语言模型, 安全事件, 安全架构, 提示注入, 攻击向量, 数字签名, 数据展示, 智能体风险, 检索增强生成, 漏洞复现, 红队, 越狱, 防御加固, 防御指南, 隐私泄露, 集群管理