fevziegeyurtsevenler/awesome-agent-supply-chain-security

GitHub: fevziegeyurtsevenler/awesome-agent-supply-chain-security

一份系统整合 AI agent 扩展(Skills、MCP server、规则文件、插件)供应链安全工具、研究、标准和数据集的精选资源列表。

Stars: 0 | Forks: 0

# Awesome Agent 供应链安全 [![Awesome](https://awesome.re/badge.svg)](https://awesome.re) AI agent 正越来越多地安装第三方**扩展**:Agent/Claude **Skills**、**MCP** (Model Context Protocol) server、IDE **规则文件** (`.cursorrules`、`CLAUDE.md`、`AGENTS.md`) 以及插件。它们的行为类似于一种新的 软件供应链——但审查模型却未能跟上步伐,而且核心 问题是结构性的:**LLM agent 无法可靠地将指令与 数据区分开来**,因此扩展所携带的任何文本(甚至是你无法看到的文本)都可能成为 命令。 **本列表存在的原因。** Snyk 的 *ToxicSkills* 研究扫描了 3,984 个市场 技能,发现约 36% 存在安全缺陷,13.4% 为严重缺陷,其中包含 76 个已确认的 恶意 payload;Koi Security 在一次 市场审计中标记了 341 个恶意技能,其中 335 个来自同一个协调活动。这种威胁是真实的、蔓延迅速的,并且散布在各个供应商博客中。本列表将其汇总在一个地方。 ## 目录 - [标准与框架](#standards--frameworks) - [扫描器与工具](#scanners--tools) - [邻近领域:LLM 红队与 Guardrails](#adjacent-llm-red-teaming--guardrails) - [漏洞实验环境与培训](#vulnerable-labs--training) - [攻击研究与论文](#attack-research--papers) - [实证研究与报告](#empirical-studies--reports) - [数据集](#datasets) - [防御指南](#defense-guidance) - [相关 Awesome 列表](#related-awesome-lists) - [贡献](#contributing) ## 标准与框架 - [OWASP Agentic Skills Top 10](https://owasp.org/www-project-agentic-skills-top-10/) - 新兴的 OWASP 项目,记录了 agent 技能的顶级风险(AST01 *恶意技能* 等)。 - [OWASP Top 10 for LLM Applications (2025)](https://genai.owasp.org/llm-top-10/) - LLM 应用的参考风险分类法;LLM01 Prompt Injection 和 LLM06 敏感信息泄露是大多数扩展攻击的基础。 - [MITRE ATLAS](https://atlas.mitre.org/) - AI 系统的对抗性威胁全景;包含 LLM prompt injection 和 MCP 损害技术。 - [NIST AI 600-1 — Generative AI Profile](https://www.nist.gov/itl/ai-risk-management-framework) - 针对生成式 AI 的风险管理指南,可用于映射控制措施。 - [Model Context Protocol](https://modelcontextprotocol.io/) - MCP 规范本身;理解工具/描述模型是保护其安全的前提。 ## 扫描器与工具 - [NVIDIA/SkillSpector](https://github.com/NVIDIA/SkillSpector) - AI agent 技能的安全扫描器;涵盖同形字/RTL/零宽字符等。 - [snyk/agent-scan](https://github.com/snyk/agent-scan) - 针对 AI agent、MCP server 和 agent 技能的安全扫描器(invariantlabs-ai/mcp-scan 的继任者)。 - [cisco-ai-defense/skill-scanner](https://github.com/cisco-ai-defense/skill-scanner) - Agent 技能扫描器;在 2026 年增加了不可见 Unicode(Tags-block)检测。 - [Tencent/AI-Infra-Guard](https://github.com/Tencent/AI-Infra-Guard) - 覆盖 MCP 和 agent 组件的全栈 AI 红队平台。 - [riseandignite/mcp-shield](https://github.com/riseandignite/mcp-shield) - 针对 MCP server 的安全扫描器(工具投毒等)。 - [trailofbits/mcp-context-protector](https://github.com/trailofbits/mcp-context-protector) - 用于调解工具调用的 MCP 运行时安全包装器。 - [hashgraph-online/hol-guard](https://github.com/hashgraph-online/hol-guard) - 针对代理技能 / prompt injection 和数据泄露模式的防护工具。 - [getagentseal/agentseal](https://github.com/getagentseal/agentseal) - Agent 扩展审查/密封工具。 - [uncloak](https://github.com/fevziegeyurtsevenler/uncloak) - 零依赖、**多语言**扫描器,用于检测 Skills、MCP 配置和规则文件中隐藏的 prompt injection 与供应链风险;解码不可见 Unicode,将发现映射到 OWASP/ATLAS,并输出 SARIF。 ## 邻近领域:LLM 红队与 Guardrails 并非特定于扩展,但对于测试和防御加载扩展的 agent 是基础性的。 - [NVIDIA/garak](https://github.com/NVIDIA/garak) - LLM 漏洞扫描器;包含大量探测库。 - [promptfoo/promptfoo](https://github.com/promptfoo/promptfoo) - 测试/红队 prompt、agent 和 RAG pipeline。 - [microsoft/PyRIT](https://github.com/microsoft/PyRIT) - 用于生成式 AI 的 Python 风险识别工具。 - [protectai/llm-guard](https://github.com/protectai/llm-guard) - 用于 LLM 交互的安全工具包(输入/输出扫描器)。 - [guardrails-ai/guardrails](https://github.com/guardrails-ai/guardrails) - 为 LLM 输出添加可编程 guardrails。 - [NVIDIA-NeMo/Guardrails](https://github.com/NVIDIA-NeMo/Guardrails) - 用于为对话式 agent 添加可编程约束的工具包。 - [protectai/rebuff](https://github.com/protectai/rebuff) - Prompt injection 检测器(已归档,仍有参考价值)。 - [Trusted-AI/adversarial-robustness-toolbox](https://github.com/Trusted-AI/adversarial-robustness-toolbox) - 广泛的对抗性 ML 库。 ## 漏洞实验环境与培训 - [harishsg993010/damn-vulnerable-MCP-server](https://github.com/harishsg993010/damn-vulnerable-MCP-server) - 用于动手实践的故意存在漏洞的 MCP server。 - [ReversecLabs/damn-vulnerable-llm-agent](https://github.com/ReversecLabs/damn-vulnerable-llm-agent) - 故意设置漏洞的 LLM agent(工具滥用、注入)。 - [CyberSunil/LLMVault](https://github.com/CyberSunil/LLMVault) - 针对 OWASP LLM Top 10 的培训平台。 - [snyk-labs/toxicskills-goof](https://github.com/snyk-labs/toxicskills-goof) - 用于学习检测的故意设置恶意的 agent 技能。 ## 攻击研究与论文 - [llm-attacks/llm-attacks](https://github.com/llm-attacks/llm-attacks) - 针对已对齐 LLM 的通用且可迁移的对抗性攻击 (GCG)。 - [verazuo/jailbreak_llms](https://github.com/verazuo/jailbreak_llms) - [CCS'24] 实战越狱 prompt 数据集。 - [greshake/llm-security](https://github.com/greshake/llm-security) - 关于集成到应用中的 LLM 的间接 prompt injection 的基础性工作。 - [tldrsec/prompt-injection-defenses](https://github.com/tldrsec/prompt-injection-defenses) - 针对 prompt injection 的实用和拟议防御措施。 - [SkillSieve (arXiv:2604.06550)](https://arxiv.org/abs/2604.06550) - 用于检测恶意 AI agent 技能的分层分类框架。 ## 实证研究与报告 - [Snyk — ToxicSkills 研究](https://snyk.io/blog/toxicskills-malicious-ai-agent-skills-clawhub/) - 扫描了 3,984 个技能;约 36% 存在缺陷,1,467 个存在漏洞,76 个包含恶意 payload。 - [Snyk — clawdhub 恶意活动](https://snyk.io/articles/clawdhub-malicious-campaign-ai-agent-skills/) - 市场上投放 reverse shell 的技能。 - [Snyk — ClawHub 上的恶意“Google”技能](https://snyk.io/blog/clawhub-malicious-google-skill-openclaw-malware/) - 单个恶意技能的案例研究。 - [obot.ai — 保护 MCP 与 agent 技能](https://obot.ai/blog/mcp-security-agent-skills-supply-chain/) - 新兴供应链前沿的概述。 - [skills-in-the-wild](https://github.com/fevziegeyurtsevenler/skills-in-the-wild) - 对 GitHub 上的公共 agent 扩展文件进行的开放、可复现的审计(包含数据集 + 发现 + 方法)——补充了上述基于封闭数据的供应商研究。 ## 数据集 - [verazuo/jailbreak_llms](https://github.com/verazuo/jailbreak_llms) - 1.5 万+ 实战越狱 prompt。 - [AltaySec/turkish-llm-injection](https://huggingface.co/datasets/AltaySec/turkish-llm-injection) - 土耳其语 prompt injection 数据集(非英语覆盖是一个常见的盲点)。 - [skills-in-the-wild 数据集](https://github.com/fevziegeyurtsevenler/skills-in-the-wild) - 针对真实公共 agent 扩展的标记发现。 ## 防御指南 - [致命三角](https://simonwillison.net/tags/lethal-trifecta/) - Simon Willison 的框架:私密数据 + 不受信任的内容 + 对外通道 = 数据窃取。打破其中一环。 - [Prompt injection 资源](https://simonwillison.net/tags/prompt-injection/) - 持续更新的 prompt injection 攻击与防御目录。 - **沙箱与最小权限** - 隔离 agent;对出站流量和文件访问使用允许列表。 - **溯源与签名** - 签名只能证明代码*未被更改*,而不能证明它是*安全的*——这是必要但不充分的。 - **渲染不可见内容** - 在编辑器中启用“渲染控制字符”;在安装前进行扫描。 ## 相关 Awesome 列表 - [corca-ai/awesome-llm-security](https://github.com/corca-ai/awesome-llm-security) - [Puliczek/awesome-mcp-security](https://github.com/Puliczek/awesome-mcp-security) - [ottosulin/awesome-ai-security](https://github.com/ottosulin/awesome-ai-security) - [TalEliyahu/Awesome-AI-Security](https://github.com/TalEliyahu/Awesome-AI-Security) - [yueliu1999/Awesome-Jailbreak-on-LLMs](https://github.com/yueliu1999/Awesome-Jailbreak-on-LLMs) - [wearetyomsmnv/Awesome-LLMSecOps](https://github.com/wearetyomsmnv/Awesome-LLMSecOps) ## 贡献 欢迎贡献!请阅读 [CONTRIBUTING.md](CONTRIBUTING.md)。请使用以下格式添加条目 `- [名称](link) - 描述。`,在可行的情况下,保持它们在一个部分内 按字母顺序排列,并且只提交真正有用且 维护良好的资源。我们特别看重新的 攻击技术、实证研究和防御措施。 ## 许可证 [![CC0](https://licensebuttons.net/p/zero/1.0/88x31.png)](https://creativecommons.org/publicdomain/zero/1.0/) 在法律允许的范围内,维护者已放弃与此作品相关的所有版权以及 相关或邻接的权利。
标签:CISA项目, DLL 劫持, ESC1, Web报告查看器, 人工智能, 大语言模型, 威胁情报, 开发者工具, 文档安全, 用户模式Hook绕过, 防御加固