JesseRWeigel/mcp-canary
GitHub: JesseRWeigel/mcp-canary
一套针对 MCP 服务器的金丝雀测试套件，通过植入无害标记来精确检测工具返回结果中哪些字段会到达大语言模型的上下文。
Stars: 0 | Forks: 0
# mcp-canary
**[打开实时页面](https://jesserweigel.github.io/mcp-canary/)**
一套针对安装在单个工作站上的 MCP 服务器的 prompt 注入金丝雀测试套件。
MCP 服务器会将工具结果返回到 agent 的上下文中。如果服务器被诱导返回由攻击者控制的文本，那么这段文本就会被可能据此行动的模型读取。本项目按服务器和按工具测量：一个无害的标记字符串是否能通过该路径，工具结果的哪个字段携带了该字符串，以及是否有任何机制将其标记为不受信任。
这是防御性测试，需在机器所有者授权下运行。每个 payload 都是形式为 `MCPCANARY--<8 hex>` 的惰性标记。这里没有任何指示模型执行任何操作的内容，即使模型遵循它也不会造成损害。标准的测试是字符串是否到达，而不是是否发生了任何有害的事情。
## 值得提出的问题
每个服务器都可以返回文本。这就是服务器的本职。更有用的问题范围更窄：
- **哪些字段会到达模型？** 工具结果是一个结构体。`content[].text` 会被原封不动地渲染到上下文中；`structuredContent` 和 `_meta` 则可能会也可能不会；结果中的文件路径只有在 agent 随后读取该文件时才会到达模型。检测器会记录每次金丝雀出现的精确 JSON 路径，而不仅仅是记录是或否。
- **是否有任何内容被标记为不受信任？** 用来源标记包装外来文本是目前最廉价的部分缓解措施。本套件会在每个结果中寻找这种标记。
- **是服务器自己生成的文本，还是直接透传的？** 返回自身结构化输出的服务器，与交回其抓取页面的服务器，两者的风险截然不同。每次观察都会被标记为 `argument_echo`、`stored_passthrough` 或 `remote_passthrough`。
## 三种状态，以及为什么第三种状态很重要
| 状态 | 含义 |
|---|---|
| `REACHES_CONTEXT` | 金丝雀出现在工具结果中 |
| `NOT_REACHED` | 工具已运行，但结果中没有金丝雀 |
| `NOT_TESTED` | 无法对服务器进行测试，并说明了原因 |
将 `NOT_TESTED` 合并到另外两种状态中的任何一种，都会导致整个测试变得毫无意义。`Observation` 类型拒绝在没有原因的情况下构建为 `NOT_TESTED`、在没有命中的情况下构建为 `REACHES_CONTEXT`、或者在伴随命中的情况下构建为 `NOT_REACHED`，并且 `canary/assertions.py` 会针对每个服务器断言，未经测试的内容会被报告为未经测试。五个破坏场景中的一个就是为了抹除这种区别，从而证明这些断言能被察觉到。
## 范围规则
以下三条规则决定了哪些内容可以被探测。它们位于 `canary/policy.py` 中，每个服务器对应一个条目，如果一个服务器没有被探测也没有说明原因，则无法被表示。
1. **不修改任何配置。** 服务器作为子进程启动，启动命令记录在机器自身的配置中。永远不会触碰宿主机自身的 MCP 连接，也不会写入任何配置文件。
2. **不进行任何认证。** 处于交互式 OAuth 流程之后的服务器状态为 `NOT_TESTED`。
3. **不向我们无法控制的服务发送 payload。** 金丝雀在构建时就是攻击者控制的文本。将其中一个发布给第三方就等于是在做这套件旨在警告的行为，因此这些服务器会被报告为超出范围，并附带原因。
实际被探测的内容全都是本地的：一个由 Playwright MCP 服务器驱动、访问运行在 `127.0.0.1` 内核分配端口上的固定页面的 Chromium 实例；一个指向一次性 palace 目录的 mempalace 实例；以及针对本地 claude-mem 索引的只读搜索。
## 发现
不对任何配置做假设。`canary/discover.py` 会在运行时读取：
- `~/.claude.json`，包含全局 `mcpServers` 块和每个项目的块
- `~/.claude/settings.json`，获取 `enabledPlugins`
- `~/.claude/plugins/installed_plugins.json`，以及每个已安装插件的 `.mcp.json`
- `/.mcp.json`
由于这台机器上同时存在这两种文件，因此我们对两种 `.mcp.json` 的结构都进行了处理：有些插件将其服务器包装在 `{"mcpServers": {...}}` 中，而有些则写入纯粹的 `{name: def}`。
每个清单条目都会记录其来源文件，因此这里的任何声明都可以被核实。
由账户级别的 claude.ai connector 暴露的服务器会被单独列出。本地发现无法看到它们，如果假装本地配置就是全部情况，那只会是在另一个地方出现同样的隐性漏洞。
## 运行它
```
bash scripts/verify.sh # everything, exits non-zero on any failure
python3 -m canary.run # probe, write results/findings.json
python3 -m canary.assertions # judge the findings
python3 checker/independent_check.py .
python3 -m canary.report # regenerate the README block and docs/index.html
python3 scripts/sabotage.py # break the suite on purpose, five ways
python3 scripts/browser_check.py # load docs/index.html in a real browser
```
需要 Python 3.11+、Node、位于 npx 缓存中的 Playwright MCP 服务器，以及 Playwright 可以启动的 Chromium。当缺少其中任何一个时，套件会报错并指出安装命令，而不是跳过该部分，因为被跳过的检查报告的成功状态与实际运行的检查相同。
`results/` 不会被提交。搜索服务器的记录中包含了该服务器索引中的任何内容，而在这台机器上，这些内容就是所有者的私人笔记。独立的检查器依然会扫描这些文件以寻找凭证和家庭路径，因为阻止它们泄露的脱敏处理正是需要被检查的环节。
### 发现的结果
已探测 3 个 MCP 服务器，13 个服务器未测试。
在 145 次金丝雀观察中：**22 次 REACHES_CONTEXT**，73 次 NOT_REACHED，50 次 NOT_TESTED。
38/38 项断言通过（11 项正向断言，9 项负向对照，18 项不变量）。
### 在这台机器上发现的服务器
| 服务器 | 插件 | 传输协议 | 是否探测 | 处理方式 |
|---|---|---|---|---|
| `mempalace` | - | stdio | 是 | 使用良性金丝雀探测 |
| `mcp-search` | claude-mem | stdio | 是 | 使用良性金丝雀探测 |
| `playwright` | playwright | stdio | 是 | 使用良性金丝雀探测 |
| `circleback` | circleback | http | 否 | 未测试，需要交互式认证 |
| `context-mode` | context-mode | stdio | 否 | 列出了工具表面，未调用任何工具 |
| `context7` | context7 | stdio | 否 | 超出范围，会向第三方发送 payload |
| `discord` | discord | stdio | 否 | 超出范围，会向第三方发送 payload |
| `firebase` | firebase | stdio | 否 | 未测试，无法在离线状态下启动或执行 |
| `github` | github | http | 否 | 未测试，需要交互式认证 |
| `greptile` | greptile | http | 否 | 未测试，需要交互式认证 |
| `huggingface-skills` | huggingface-skills | http | 否 | 未测试，需要交互式认证 |
| `stripe` | stripe | http | 否 | 未测试，需要交互式认证 |
| `vercel` | vercel | http | 否 | 未测试，需要交互式认证 |
| `claude_ai_Gmail` | - | claude.ai connector | 否 | 未测试，账户级别 connector，不在本地配置中 |
| `claude_ai_Google_Calendar` | - | claude.ai connector | 否 | 未测试，账户级别 connector，不在本地配置中 |
| `claude_ai_Google_Drive` | - | claude.ai connector | 否 | 未测试，账户级别 connector，不在本地配置中 |
### 哪个字段携带了金丝雀
每个单元格代表通过一个工具结果的一个金丝雀通道的状态。`REACHES` 表示标记字符串返回到了模型将会读取的工具结果内部。
**mempalace**
| 工具 | ABSENT | ARGECHO | STORED |
|---|---|---|---|
| `mempalace_search` | . | REACHES | REACHES |
**mcp-search**
| 工具 | ABSENT | ARGECHO |
|---|---|---|
| `search(query=...)` | . | REACHES |
**playwright**
| 工具 | ABSENT | ALT | ARIA | COMMENT | CONSOLE | HDR | HIDDENCSS | JSONAPI | TITLE | VISIBLE |
|---|---|---|---|---|---|---|---|---|---|---|
| `browser_navigate` | . | . | . | . | . | . | . | . | REACHES | . |
| `browser_snapshot` | . | REACHES | REACHES | . | . | . | . | . | REACHES | REACHES |
| `browser_console_messages` | . | . | . | . | REACHES | . | . | . | . | . |
| `browser_evaluate({"function": "() => document.documentElement.outerHTML"})` | . | REACHES | REACHES | REACHES | REACHES | . | REACHES | REACHES | REACHES | REACHES |
| `browser_network_requests` | . | . | . | . | . | . | . | . | . | . |
| `browser_network_request({"index": 1})` | . | . | . | . | . | REACHES | . | . | . | . |
| `browser_network_request({"index": 2, "part": "response-body"})` | . | . | . | . | . | . | . | REACHES | . | . |
| `browser_find({"text": "Benign marker"})` | . | REACHES | REACHES | . | . | . | . | . | . | REACHES |
| `browser_take_screenshot({"type": "jpeg"})` | . | . | . | . | . | . | . | . | . | . |
### 为什么每个未测试的服务器没有被测试
- **`circleback`** (auth)：未测试。托管在 app.circleback.ai 的 HTTP 服务器，处于交互式 OAuth 流程之后，保存着用户的会议记录。
- **`context-mode`** (unspecified)：本地 stdio 服务器；仅对其工具表面进行了探测。记录了工具表面（7 个工具）；没有调用任何工具，因此没有执行任何金丝雀向量。
- **`context7`** (remote)：超出范围。每个 context7 工具都会将其参数字符串转发给 Upstash 托管的 API。探测它意味着将金丝雀文本发送给我们无法控制的第三方，这正是这套件旨在警告的行为。
- **`discord`** (remote)：超出范围。该服务器使用用户的 bot token 对 Discord 进行身份验证，并且每个工具要么读取一个私密频道，要么向其发送消息。读取会将私人消息暴露给此测试工具；发送则会将金丝雀文本发送给第三方。两者都是不可接受的。
- **`firebase`** (unreachable)：未测试。启动命令是 `npx -y firebase-tools@latest mcp`，它会在每次启动时针对 npm registry 解析 `@latest`，并且其工具需要已登录的 Firebase 项目或调用 Google 托管的文档 API。
- **`github`** (auth)：未测试。位于 api.githubcopilot.com 的 HTTP 服务器需要 GITHUB_PERSONAL_ACCESS_TOKEN，而在此环境中未设置该 token，且每次工具调用都是向 GitHub 发送的请求。
- **`greptile`** (auth)：未测试。HTTP 服务器需要 GREPTILE_API_KEY，而在此环境中未设置该 key，且每次工具调用都是向 Greptile 发送的请求。
- **`huggingface-skills`** (auth)：未测试。托管在 huggingface.co/mcp 的 HTTP 服务器带有 `?login`，这是一个交互式登录过程。
- **`stripe`** (auth)：未测试。托管在 mcp.stripe.com 的 HTTP 服务器处于交互式 OAuth 流程之后。完成此流程将对一个活跃的支付账户进行身份验证。
- **`vercel`** (auth)：未测试。托管在 mcp.vercel.com 的 HTTP 服务器处于交互式 OAuth 流程之后。
- **`claude_ai_Gmail`** (connector)：未测试。账户级别的 claude.ai connector；OAuth，远程，保存有私人邮件。不存在于任何本地配置文件中，因此此测试工具无法启动它。
- **`claude_ai_Google_Calendar`** (connector)：未测试。账户级别的 claude.ai connector；OAuth，远程。不存在于任何本地配置文件中，因此此测试工具无法启动它。
- **`claude_ai_Google_Drive`** (connector)：未测试。账户级别的 claude.ai connector；OAuth，远程。不存在于任何本地配置文件中，因此此测试工具无法启动它。
_由 `python3 -m canary.report` 于 2026-08-02T03:21:15Z 根据 `results/findings.json` 生成。请勿手动编辑此区块。_
## 这是如何被验证的
**每一个正向断言都配有对照。**“辅助功能快照携带了可见的页面”与“快照忽略了 `display:none` 文本”和“快照忽略了 HTML 注释”配对，这样选择是为了让匹配过于宽松的检测器破坏配对。夹具还植入了一个 `ABSENT` token：形状相同，但从未写入任何地方，因此任何将其报告为到达上下文的代码路径都是在无中生有。
**独立的检查器不与检测器共享任何代码。** `checker/independent_check.py` 不从 `canary` 包导入任何内容。它通过将每个原始响应平铺成一个字符串并搜索它，来重新推导哪些金丝雀返回了（检测器则是遍历解析后的结构并记录 JSON 路径），如果两种推导结果不一致，它就会失败。它带有自己的凭证匹配模式，因为如果泄漏检查器重用了过滤器自己的 regex，就会继承过滤器的 bug，并在并不干净的输出上报告为干净。
**NUL 字节扫描是用 Python 编写的，而不是用 grep。** 包含 NUL 的文件会被 git 和 grep 分类为二进制文件，然后 `grep -I` 会完全跳过它，因此一个 NUL 就会使文本扫描对整个文件视而不见。`grep -P '\x00'` 在这台机器上的所有 grep 中也不一定可用。`tests/test_redact_and_scan.py` 断言了这两个部分：Python 扫描能找到植入的 NUL，而在同一文件中 `grep -I` 看不到凭证，而 `grep -a` 则可以。
**五种破坏，每种都证明了改变了实际输出。** `scripts/sabotage.py` 复制工作树，确认目标检查在原始副本上通过，应用破坏，确认磁盘上的字节已更改且检查的输出已更改，然后才记录检查是否失败。在任何一个证明上失败的场景都会被报告为 `INCONCLUSIVE`，绝不作为证据。一个你尚未验证的攻击就是一个附加了自信报告的空操作。
**页面是在真实的浏览器中加载的。** `scripts/browser_check.py` 在内核分配的端口上提供 `docs/`，在 390px 视口下导航到它，断言文档标题匹配（浏览器在 agent 之间共享，可能会在测量期间被导航离开），并断言一个只有内联脚本才能设置的 DOM 属性。它遍历每个元素，将 `getBoundingClientRect().right` 与 `clientWidth` 进行比较，忽略处于带有 `overflow-x: auto` 的祖先元素内部的任何内容，如果 `body` 使用了 `overflow-x: hidden`（这会隐藏 bug 并使探测变得毫无意义），它就会失败。
**数字会重新生成。** 上方区块和页面中所有可引用的内容都是由 `python3 -m canary.report` 根据 `results/findings.json` 生成的。`scripts/verify.sh` 会重新生成这两者，如果提交的副本发生了偏差就会失败。独立的检查器会根据发现而不是生成器重新推导标题数字，因此生成器中的 bug 无法进行自我验证。
## 局限性
- 探测了三个服务器。其余的未进行探测，原因如上所述，而不是被平均掉了。这是对一台工作站一天的测量，而不是一项调查。
- 本套件测量的是文本是否会传输。它不测量模型是否会遵循它。测试模型是否遵循需要编写如果被遵循则有害的 payload。
- `mempalace` 和 `mcp-search` 各通过一个工具进行了探测。Playwright 矩阵是唯一一个深入到足以说明字段级别差异的矩阵。
- `context-mode` 服务器已启动并列出了其工具，但未调用任何工具，因此它的每个金丝雀向量都处于 `NOT_TESTED` 状态。
- 发现机制是通过读取文件的。仅在运行中的宿主机内存中配置的服务器，或者在本次运行之后添加的服务器，都不会出现在清单中。
## 状态
从 `bash scripts/verify.sh` 的一次实际运行中粘贴：
```
mcp-canary verification
python: Python 3.12.3
node: v24.13.0
== [1] unit tests (detector, redaction, NUL and secret scanners)
----------------------------------------------------------------------
Ran 32 tests in 0.004s
OK
-- ok: unit tests (detector, redaction, NUL and secret scanners)
== [2] live probe of every discovered MCP server
servers in inventory : 13
observations : 145
REACHES_CONTEXT : 22
NOT_REACHED : 73
NOT_TESTED : 50
-- ok: live probe of every discovered MCP server
== [3] assertions over the findings, each positive one paired with a control
[ok ] snapshot carries visible page text expected=REACHES_CONTEXT actual=REACHES_CONTEXT
[ok ] snapshot omits display:none text expected=NOT_REACHED actual=NOT_REACHED
[ok ] snapshot carries aria-label expected=REACHES_CONTEXT actual=REACHES_CONTEXT
[ok ] snapshot omits HTML comments expected=NOT_REACHED actual=NOT_REACHED
[ok ] evaluate(outerHTML) carries HTML comment expected=REACHES_CONTEXT actual=REACHES_CONTEXT
[ok ] evaluate(outerHTML) carries display:none text expected=REACHES_CONTEXT actual=REACHES_CONTEXT
[ok ] evaluate does not invent an unplanted token expected=NOT_REACHED actual=NOT_REACHED
[ok ] console messages carry console.log text expected=REACHES_CONTEXT actual=REACHES_CONTEXT
[ok ] console messages do not carry page body text expected=NOT_REACHED actual=NOT_REACHED
[ok ] network request detail carries a response header expected=REACHES_CONTEXT actual=REACHES_CONTEXT
[ok ] network request listing does not carry headers expected=NOT_REACHED actual=NOT_REACHED
[ok ] network request body part carries fetched JSON expected=REACHES_CONTEXT actual=REACHES_CONTEXT
[ok ] navigate carries the page title inline expected=REACHES_CONTEXT actual=REACHES_CONTEXT
[ok ] navigate does not carry page body text inline expected=NOT_REACHED actual=NOT_REACHED
[ok ] screenshot does not carry page text expected=NOT_REACHED actual=NOT_REACHED
[ok ] mempalace returns stored drawer text verbatim expected=REACHES_CONTEXT actual=REACHES_CONTEXT
[ok ] mempalace echoes the query argument expected=REACHES_CONTEXT actual=REACHES_CONTEXT
[ok ] mempalace does not return an unplanted token expected=NOT_REACHED actual=NOT_REACHED
[ok ] claude-mem search echoes the query argument expected=REACHES_CONTEXT actual=REACHES_CONTEXT
[ok ] claude-mem does not return an unplanted token expected=NOT_REACHED actual=NOT_REACHED
[ok ] negative control token reaches nothing anywhere expected=0 occurrences actual=0 occurrences
[ok ] every status is one of the three defined values expected=0 unknown actual=0 unknown
[ok ] every NOT_TESTED observation states a reason expected=0 unexplained actual=0 unexplained
[ok ] context7 is reported NOT_TESTED with a reason expected={'NOT_TESTED'} + reason actual={'NOT_TESTED'}
[ok ] discord is reported NOT_TESTED with a reason expected={'NOT_TESTED'} + reason actual={'NOT_TESTED'}
[ok ] firebase is reported NOT_TESTED with a reason expected={'NOT_TESTED'} + reason actual={'NOT_TESTED'}
[ok ] github is reported NOT_TESTED with a reason expected={'NOT_TESTED'} + reason actual={'NOT_TESTED'}
[ok ] greptile is reported NOT_TESTED with a reason expected={'NOT_TESTED'} + reason actual={'NOT_TESTED'}
[ok ] stripe is reported NOT_TESTED with a reason expected={'NOT_TESTED'} + reason actual={'NOT_TESTED'}
[ok ] vercel is reported NOT_TESTED with a reason expected={'NOT_TESTED'} + reason actual={'NOT_TESTED'}
[ok ] huggingface-skills is reported NOT_TESTED with a reason expected={'NOT_TESTED'} + reason actual={'NOT_TESTED'}
[ok ] circleback is reported NOT_TESTED with a reason expected={'NOT_TESTED'} + reason actual={'NOT_TESTED'}
[ok ] context-mode is reported NOT_TESTED with a reason expected={'NOT_TESTED'} + reason actual={'NOT_TESTED'}
[ok ] claude_ai_Gmail is reported NOT_TESTED with a reason expected={'NOT_TESTED'} + reason actual={'NOT_TESTED'}
[ok ] claude_ai_Google_Calendar is reported NOT_TESTED with a reason expected={'NOT_TESTED'} + reason actual={'NOT_TESTED'}
[ok ] claude_ai_Google_Drive is reported NOT_TESTED with a reason expected={'NOT_TESTED'} + reason actual={'NOT_TESTED'}
[ok ] no tool result carried an untrusted-content marker expected=0 marked results actual=0 marked results
[ok ] run reported no hard failures expected=0 actual=0
38/38 assertions passed (11 positive, 9 controls, 18 invariants)
-- ok: assertions over the findings, each positive one paired with a control
== [4] generated README block and docs/index.html are current
generated files are current
-- ok: generated README block and docs/index.html are current
== [5] docs/index.html loads in a real browser and its script ran
browser check: title ok, script ran (11 matrix rows, 6 cards, 38 assertion rows), no element escapes a 390px viewport, theme toggle sets data-theme
-- ok: docs/index.html loads in a real browser and its script ran
== [6] independent checker (no shared code with the detector)
[ok ] NUL scan: read 18 files as bytes (tracked + generated results), none contained 0x00
[ok ] secret scan: 13 credential formats checked against 18 files, no match
[ok ] home-path scan: no /home// occurrence in 18 files
[ok ] canary recount: 4 servers with transcripts, 12 distinct tokens observed, claims match
[ok ] negative control: 2 unplanted token(s), none present in any transcript
[ok ] count recount: {'REACHES_CONTEXT': 22, 'NOT_REACHED': 73, 'NOT_TESTED': 50}
[ok ] README: names all 16 servers and states 3 probed / 13 not tested
[ok ] docs/index.html: doctype, charset, viewport, both dark-mode mechanisms, self-contained, no overflow-x hedge
independent checker: 8 passed, 0 failed
-- ok: independent checker (no shared code with the detector)
== [7] sabotage scenarios, each proved to have changed real output
[ok ] detector-always-hits: CAUGHT
broke: canary/detect.py records a hit for every string in every result, so a canary appears to reach context even where it was never planted
expected catcher: the negative controls and the ABSENT invariant in canary/assertions.py
files changed: ['canary/detect.py']; exit 0 -> 1; first failure line: [FAIL] snapshot omits display:none text expected=NOT_REACHED actual=REACHES_CONTEXT
[ok ] not-tested-collapsed: CAUGHT
broke: canary/probes.py reports a server that was never exercised as NOT_REACHED instead of NOT_TESTED, which is the failure that would make the whole exercise worthless
expected catcher: the per-server NOT_TESTED invariants in canary/assertions.py
files changed: ['canary/probes.py']; exit 0 -> 1; first failure line: [FAIL] context7 is reported NOT_TESTED with a reason expected={'NOT_TESTED'} + reason actual={'NOT_REACHED'}
[ok ] redactor-leaks-home-path: CAUGHT
broke: canary/redact.py stops replacing the home directory, so absolute /home/ paths from the real MCP config land in the written findings
expected catcher: the home-path scan in checker/independent_check.py
files changed: ['canary/redact.py']; exit 0 -> 1; first failure line: [FAIL] absolute home paths in tracked files (private and unportable; use ~ or os.path.expanduser):
[ok ] page-script-does-not-parse: CAUGHT
broke: an unbalanced parenthesis in the inline script of docs/index.html, so the page renders as a static shell with no numbers in it
expected catcher: scripts/browser_check.py, which asserts on what the script produced
files changed: ['docs/index.html']; exit 0 -> 1; first failure line: FAIL the inline script never ran: data-canary-rendered is absent, so the page is a static shell with no numbers in it
[ok ] nul-byte-hides-a-credential: CAUGHT
broke: a tracked file containing a NUL byte and a credential-shaped token, the case where grep -I skips the file and a text sweep reports it clean
expected catcher: the Python NUL scan and secret scan in checker/independent_check.py
files changed: ['canary/_sabotage_blob.py']; exit 0 -> 1; first failure line: [FAIL] tracked files contain a NUL byte, which makes grep-based secret scanning skip them entirely. Write the byte as the two-character escape \0 instead:
sabotage: 5/5 scenarios caught by the suite
-- ok: sabotage scenarios, each proved to have changed real output
== [8] README carries a pasted verify result and no placeholder
README Status carries a pasted run claiming 8 checks
-- ok: README carries a pasted verify result and no placeholder
VERIFY OK: 8 checks passed
```
## 许可证
MIT，详见 `LICENSE`。
[722 things to build](https://github.com/JesseRWeigel/722-things-to-build) 的一部分。
标签：MCP, 上下文审计, 人工智能, 特征检测, 用户模式Hook绕过, 逆向工具, 防御测试