Brainfeed-1996/adversary-forge
GitHub: Brainfeed-1996/adversary-forge
面向LLM与智能体系统的AI红队与防御评估框架，解决在对抗压力下衡量系统安全性的问题。
Stars: 0 | Forks: 0
# 对手锻造
面向LLM应用与智能体系统的AI红队与防御评估框架。
Adversary Forge 是一个安全评估平台，旨在对语言模型应用、工具使用代理、记忆系统和工作流自动化进行现实攻击场景下的测试与评估。
## 为什么这个项目很重要
AI系统越来越多地连接工具、数据源和决策循环。这使它们既具有价值也带来风险。Adversary Forge 的存在是为了让这些系统在对抗压力下变得可衡量。
## 当前状态
早期旗舰构建阶段包含：
- 可重放的 JSON 场景
- 场景注册加载器
- 评估核心
- 支持 JSON 与 HTML 报告的运行器
- ADR 与方法论文档
- CI 与贡献模板
## 评估模型
```
scenario pack
|
v
target adapter
|
v
execution harness
|
v
trace capture
|
v
evaluator
|
v
report output
```
## 核心能力
- 提示注入测试套件
- 工具滥用与权限提升场景
- 内存中毒评估
- 数据外泄模拟
- 策略合规评分
- 基准测试编排与回放
- 比较模型与代理评估
- 红队与蓝队工作流
## 仓库结构
```
adversary-forge/
apps/
runner/
dashboard/
reports/
packages/
scenario-registry/
evaluator-core/
scenarios/
docs/
```
## 文档
- docs/architecture.md
- docs/methodology.md
- docs/threat-model.md
- docs/benchmarking.md
- docs/adr-001-replayable-scenarios.md
- docs/scenario-format.md
- docs/reporting.md
## 路线图
### 近期
- 添加更丰富的 HTML 报告
- 支持更丰富的目标适配器
- 支持历史运行数据存储
- 引入场景元数据版本控制
### 中期
- 基准测试仪表板
- 比较目标运行
- 跟踪查看器
- 策略回归包
## 许可证
Apache-2.0
标签：AI安全, Chat Copilot, DLL 劫持, Homebrew安装, HTML报告, JSON场景, 内存中毒, 协议分析, 可重现场景, 多模态安全, 大语言模型, 威胁建模, 对抗性压力测试, 工具滥用, 提示注入, 攻击模拟, 数据外泄模拟, 数据展示, 文档系统, 权限提升, 策略合规评分, 红蓝队, 红队, 自定义脚本, 评估框架, 逆向工具, 集群管理, 驱动签名利用