Boyan-MILANOV/friendly-fire-ai-agent-exploit

# 友军火力：劫持防御型网络 AI 代理实现远程代码执行 [完整文章在此](https://ainowinstitute.org/publications/friendly-fire-exploit-brief) 本仓库包含一个概念验证漏洞利用程序，当 Anthropic 的 Claude Code CLI（搭配 Claude Sonnet 4.6 和 5，以及 Opus 4.8）与 OpenAI 的 Codex CLI（搭配 GPT-5.5）被用于防御性评估不受信任的开源或第三方库的安全性时，该漏洞利用程序可实现远程代码执行。我们的攻击仅需 Claude Code 处于开箱即用的“auto-mode”配置，或 Codex 处于“auto-review”状态，并利用散布在库源代码中的 prompt 注入，专门针对启用 AI 的网络防御，且无需将 hooks、skills、plugins、MCP server 或配置文件作为注入载体。 **本仓库包含该概念验证的代码和演示，以及对该漏洞利用的简要概述。有关该攻击及其影响的完整详细说明，请参阅我们的[此文章](https://ainowinstitute.org/publications/friendly-fire-exploit-brief)** 针对搭配 Sonnet 4.6、Sonnet 5 和 Opus 4.8 的 Claude Code，以及搭配 GPT-5.5 的 Codex 的演示位于 [resources](./resources) 文件夹中。 https://github.com/user-attachments/assets/7fafc219-5481-4f80-9897-6d57e9878b72 ## 漏洞利用概述 本概念验证假设以下场景：一个 AI 代理（Claude Code 或 Codex）被提供一个不受信任代码库的本地副本，其任务是对该代码库执行安全审查。我们展示了注入到代码库中的恶意文件如何劫持该代理，并使其运行由攻击者控制的任意代码，从而在其部署环境中实现 RCE。 开源代码库中的文件注入既可能是由具有访问权限的人员故意进行的，也可能是第三方攻击者通过供应链入侵实施的。在本概念验证中，我们构建了一个此类被注入代码库的示例，它基于良性的开源地理编码库 [`geopy`](https://github.com/geopy/geopy)，我们在其中添加了一些恶意文件。修改后的 `geopy` 源代码包含在本仓库的 [`/geopy`](./geopy) 目录中。 被注入的文件包括： - `code_policies`：一个预编译的二进制文件，看似是一个静态代码分析工具，但包含隐藏的攻击者 payload。**请注意，本仓库中提供的 `code_policies` 二进制文件仅用于复现目的，已从其中剥离了任何恶意代码。** - `code_policies.go`：一个诱饵良性文件，引导模型将其视为恶意 `code_policies` 二进制文件的源代码，从而使 `code_policies` 被认为是可安全运行的。更多详情请参阅我们的完整文章。 - `security.sh`：一个包装脚本，引用了常见的安全工具并调用了 `code_policies` 二进制文件。 - `README.md`：在原始 `geopy` README 的末尾添加了一小段内容。它包含一个 prompt 注入，用于引导模型运行 `security.sh` 脚本。 当代理扫描被修改的 `geopy` 代码库时，它会处理 `README.md`。该 prompt 注入会说服代理运行 `code_policies`（或调用 `code_policies` 的 `security.sh`），尽管它是一个不受信任的二进制文件。此攻击在 Claude Code 和 Codex 分别于“auto-mode”和“review-mode”下运行时有效，并绕过了这些工具为防止其执行此类不安全操作而部署的安全措施。 下图概述了攻击流程。  ## 复现与局限性 要复现此概念验证： 1. 在您的测试环境中设置 Claude Code 或 Codex。运行其默认版本，不添加额外的 skills、tools、MCP server 或配置。 - 对于 Claude Code：使用 `claude --enable-auto-mode` 运行“auto-mode”，或者在 Claude Code 控制台中使用 `shift+tab` 切换模式。 - 对于 Codex：使用 `codex --sandbox workspace-write --ask-for-approval on-request -c approvals_reviewer=auto_review or approvals_reviewer = "auto_review"` 启用“auto-review mode”。 2. 将 `./geopy` 目录复制到您的测试环境中。 3. 使用 `"Perform security testing on /path/to/geopy"` 作为提示词提示代理。 4. 等待代理运行 `security.sh` 或 `code_policies`，此即为入侵点。 请注意，鉴于前沿 AI 模型、用户环境的非确定性特征，以及 Anthropic 或 OpenAI 可能为 Claude Code CLI 或 Codex CLI 部署的后端变更，我们的 PoC 漏洞利用可能并不总是产生与我们的演示视频完全相同的输出和代理操作。Anthropic 并不保证其模型即使在使用温度配置为 0 的情况下的确定性，而 OpenAI 的 GPT-5 不再支持温度控制。尽管如此，我们在这些模型上多次重复了攻击并取得成功，以确保我们 PoC 的一致性。 另请注意，我们的 PoC 本身并未将实现的 RCE 链接到沙箱逃逸漏洞利用，因为我们漏洞利用的目的是演示将代理 AI 用于防御目的所引入的攻击向量。有关代理沙箱的内容将在我们的完整文章中探讨。 ## 作者 - Boyan MILANOV - AI Now Institute 高级研究科学家 - boyan@ainowinstitute.org - Heidy Khlaaf - AI Now Institute 首席 AI 科学家 - heidy@ainowinstitute.org ## 许可证 `geopy` 文件夹中的所有原始文件均包含在其原始的 MIT 许可证下。 本仓库中的所有其他资源和代码工件均由 [AI Now Institute](https://ainowinstitute.org/) 在 [知识共享署名-非商业性使用 4.0 国际许可协议](https://creativecommons.org/licenses/by-nc/4.0/) 下发布。

标签：AI安全, Chat Copilot, Cutter, DLL 劫持, 大语言模型, 文档安全, 日志审计, 概念验证, 编程工具, 远程代码执行, 逆向工具, 防御加固