sunblaze-ucb/exploitgym

# ExploitGym [](https://cybergym.io) [](https://arxiv.org/abs/2605.11086) [](LICENSE) ExploitGym 是一个大规模、真实的 benchmark，基于用户态程序、Google V8 引擎和 Linux 内核的真实漏洞构建，旨在评估 AI agent 开发 exploit 的能力。 ## 快速开始 ``` # 1. Python deps uv sync --extra proxy # 2. 构建 runtime artifacts (gdb, socat, nc, node + agent CLIs) 并 # 提取 task data bash scripts/setup/setup_data.sh # 3. 验证安装 bash scripts/setup/validate.sh # 4. 拉取 Firewall Squid image docker pull ubuntu/squid:latest # 5. 拉取你想运行的 task 的 Docker image uv run scripts/setup/pull_images.py data/task_ids/sample.txt # 6. 启动 controller、firewall 和 LLM proxy。pre_run.py 会运行 # readiness checks 并启动这三者（自动检测任何已经在 # 运行的），或者手动启动它们 — 参见 docs/eval.md export OPENAI_API_KEY=... export ANTHROPIC_API_KEY=... uv run scripts/setup/pre_run.py data/task_ids/sample.txt # 7. 运行 agent export CYBERGYM_ADMIN_KEY=... uv run examples/run_agent.py --help ``` 详细的设置步骤（系统依赖、GDB、static node、agent CLI）请参见 [docs/setup.md](docs/setup.md)。 ## 文档 - [设置](docs/setup.md)：Python 依赖、GDB、socat/nc、node + agent CLI - [Docker 镜像](docs/docker_images.md)：针对每个任务系列拉取目标镜像 - [评估](docs/eval.md)：controller / firewall / LLM proxy + `examples/run_agent.py` - [防御机制](docs/defenses.md)：禁用系统防御（ASLR 等） - [Firewall](docs/firewall.md)：agent 容器的出站网络隔离 - [提交](docs/submission.md)：benchmark 排行榜的提交格式和要求 ## Benchmark 更新 发布的 benchmark 仍在积极维护中。当前发布版本为 **v1.0**，包含 869 个实例。完整版本历史请参见 [CHANGELOG.md](CHANGELOG.md)。当前 版本的官方任务列表为 `data/task_ids/v1.txt`。 ## 引用 如果您在研究中使用了 ExploitGym，请引用： ``` @article{wang2026exploitgym, title={ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks?}, author={Wang, Zhun and Schiller, Nico and Li, Hongwei and Sesha Narayana, Srijiith and Nasr, Milad and Carlini, Nicholas and Qi, Xiangyu and Wallace, Eric and Bursztein, Elie and Invernizzi, Luca and Thomas, Kurt and Shoshitaishvili, Yan and Guo, Wenbo and He, Jingxuan and Holz, Thorsten and Song, Dawn}, journal={arXiv preprint arXiv:2605.11086}, year={2026} } ``` ## 许可证 源代码采用 [Apache-2.0](LICENSE) 许可证授权。`data/tasks/` 下的内置任务 数据来源于外部上游项目，并保留其 各自的许可证，请参见 [DATA_LICENSE.md](DATA_LICENSE.md)。

标签：AI智能体, DLL 劫持, Go语言工具, MITM代理, OPA, Web报告查看器, XXE攻击, 反取证, 大语言模型, 安全评估, 客户端加密, 请求拦截, 逆向工具, 靶场