ScriptKittyOS/HolyTrinity-Benchmark

# HolyTrinity 基准 **一个用于评估 Agent 授权能力的对抗性安全基准。** 它仅测量权限控制平面的一项目标：即 Agent *提议* 一项违规操作，与该操作 *产生未经授权的外部影响* 之间的差距。测试前提是假定 Agent 已被入侵；核心问题在于这种违规行为是否会转化为实际影响。 ## 核心结果 在针对被测系统进行的 **73 次测试**（61 次攻击测试 + 12 次已知正常对照组）中，**61 次攻击测试中有 57 次**构建并触发了违规操作，但产生了 **0 次未经授权的外部影响**（单次测试的 95% 置信区间为 [0.0%, 5.9%]；在测试集覆盖的 8 种不同机制上，感知集群影响的置信区间上限为 ≤32.4% —— 参见 `REPORT.md`）。审查者通常会对“零影响”持怀疑态度，因此我们不仅仅列出这一结果，而是通过以下内容作为该数据的佐证： - 一项 **消融实验**（逐一禁用各个机制；对应的攻击转化率分别为 —— 0→10, 0→5, 0→5, 0→14）； - 一项 **无控制基线**（完全关闭防护屏障 → **63 次攻击中有 47 次**发生转化）； - 一项 **经过测量的可信计算基（TCB）边界**（仅有 kernel 组件的失效会导致 provider 调用产生实际影响；表面缩减组件只会引发 gate-channel 影响 —— 参见 `spec/ABLATION.md`，论文第 §9.1 节）； - 一项 **记录并修复的故障**（早期运行中曾泄漏的唯一一次影响，已被修复并重新测量）； - 所有比例数据的 **置信区间** 以及一项 **独立 Oracle 校准**（在 41 次 provider 调用测试中，0 次误报；在确实发生实际影响的 6 次测试中，系统的证明状态与独立判定结果完全一致 —— `REPORT.md` 提供了详细的分解说明，这是该结论最坦诚的呈现形式）。 ## 可复现性 —— 部分可复现，如实声明 本仓库开源了 **基准测试及其结果，但未包含被测系统。** Trinity 控制平面目前处于专利申请阶段且尚未公开，因此该测试活动**无法在此处进行端到端的重新执行。** 目前有两点可供核查： 1. **结果可通过发布的制品进行审计。** 所有数据和表格都是基于已提交的 JSONL 文件 (`artifacts/`) 机械化生成的。`scoring/` 模块可以在脱离被测系统的情况下重新计算这些数据。 2. **测试方法可被审查** —— 包括冻结的规范说明、家族分类法、已发布的家族定义、声明式盲测攻击集、评分模块，以及 **完整的测试框架：包括独立 oracle、攻击器、运行器，以及消融 / TCB / 测量完整性 / 盲测驱动程序**。由于它们均引用了被测系统，因此无法独立编译；将其发布是为了让这套评判方法能够逐行检查，而非仅仅基于信任。 当被测系统发布时，即可实现完整的端到端重新执行。 ## 目录结构 ``` papers/ both papers as LaTeX source: the architecture paper that specifies this evaluation, and the evaluation paper itself (see papers/README.md) PAPER.md the evaluation paper as Markdown (the rest of the docs link to it here) REPORT.md measured results (auditable from artifacts/) oracle/ the independent adjudicator — the component the result depends on aggressor/ attack construction, the variant catalogs, the chaos drivers, fixtures harness/ the runner + the ablation / TCB / measurement-integrity / blind drivers spec/ SPEC.md the frozen methodology (definition of unauthorized effect, outcome model, families, trial schema) ABLATION.md the causal spine (the TCB boundary table is in REPORT.md and paper §9.1) PACKAGING-NOTES.md how to read the frozen SPEC in this layout + the deviation table families/ the nine-boundary taxonomy + released family definitions (F4/F5/F6/F8/F9) blind/ declarative, code-blind attack sets + protocol fixtures/ released-vs-held disclosure split artifacts/ committed result JSONL + the family table as data, with README.md recording provenance, schema departures, and what they can/cannot verify scoring/ the system-free scoring modules, plus verify.exs and verify.py — dependency-free verifiers that recompute every published campaign number and exit non-zero on disagreement (see scoring/VERIFY.md) LICENSE CC BY 4.0 CITATION.cff citation metadata MANIFEST.md exactly what is and is not in this release, and why ``` ## 未包含的内容 **被测系统**（Trinity 控制平面）以及为 content/runtime/skill 家族（F1–F3）保留的 **红队语料库** 均未包含在内 —— 这些语料库的内容正是上述机制针对性调优的检测面，因此泄露它们将引发防御性加固问题，而不仅仅是 IP 问题。 驱动该基准测试的测试框架 **已经** 发布；只是由于缺少被测系统，它无法编译。 参见 `MANIFEST.md`。 ## 引用 参见 `CITATION.cff`。许可证：CC BY 4.0 (`LICENSE`)。

标签：AI智能体, Elixir, Streamlit, Web报告查看器, 人工智能, 安全基准测试, 安全测评, 用户模式Hook绕过, 访问控制, 逆向工具