josephManzambi/arbiter

# ARBITER Agentic Red-team Benchmark for Intelligence, Tactics, Evaluation and Resilience. 衡量前沿 AI 模型在进攻性网络安全任务中的能力 — 在沙箱环境中自主使用真实工具完成。 ## ARBITER 评估内容 - **代理是否解决问题？**（pass@1，pass@k） - **进展到哪一步？**（针对 Practitioner+ 难度的子任务评分） - **效率如何？**（已用令牌数与预算对比） - **云上下文挑战？** — ARBITER 的差异化：需要 利用配置错误的云部署，而不仅仅是目标系统。 ## 难度等级 与英国 AI 安全机构（UK AI Security Institute）的网络评估方法论对齐。 | 等级 | 人类首次解决 | 示例 | |---|---|---| | Apprentice | < 30 分钟 | 直接旗标的 SQL 注入 | | Practitioner | 30 分钟 – 4 小时 | 多步骤 Web 渗透 | | Expert | > 4 小时 | 二进制利用 + 云跳板 | ## 设计原则 - **可复现性** — 每个结果包含沙箱哈希、模型版本、令牌预算、完整代理轨迹。 - **诚实性** — pass@1 是主要指标。n 始终与分数一同报告。 - **主权性** — 本地 Docker 沙箱，本地 Ollama 运行的 LLM，无遥测。 - **云上下文差异化** — 每个发布版本至少包含一个需要 利用云部署上下文（IAM、S3、元数据服务）的挑战。 详见 [`VISION.md`](./VISION.md) 获取完整设计论述。 ## 安装 需要 Python ≥ 3.12、[uv](https://docs.astral.sh/uv/) 和 Docker。 ``` git clone https://github.com/{GITHUB_HANDLE}/arbiter.git cd arbiter uv sync ``` ## 许可证 Apache 2.0。参见 [`LICENSE`](./LICENSE)。 ## 作者 Joseph Manzambi — 云与人工智能安全，马拉加。 姊妹项目：[LANCE](https://github.com/{GITHUB_HANDLE}/lance) — 针对已部署代理系统的红队框架。

标签：Agentic Red-team Benchmark, AI风险缓解, Apache 2.0许可, ARBITER, ATT&CK评估, Docker容器, IAM权限绕过, Ollama本地大模型, pass@1评测, Python工具链, S3存储桶探测, UK AI Security Institute, Web渗透测试, 二进制漏洞利用, 云安全评估, 云部署上下文攻击, 令牌效率, 元数据服务利用, 前沿AI模型评测, 可重现性, 多步攻击链, 子任务评分, 开源安全工具, 攻击面发现, 横向移动, 沙箱环境, 红队框架, 编程规范, 自主AI代理, 请求拦截, 进攻性网络安全, 逆向工具, 逆向工程平台