gasangalimov/defi-audit-agents
GitHub: gasangalimov/defi-audit-agents
一个诚实评估多 Agent LLM 系统在 DeFi 智能合约漏洞审计中实际效果的开源研究项目。
Stars: 0 | Forks: 0
# defi-audit-agents
对用于 DeFi 智能合约审计的多 Agent LLM 系统的一次诚实探索。
测试了 5 个 AI agent、14+ 个智能合约，公开透明地展示了包含失败在内的所有结果。
[阅读俄语版本](#русская-версия) | [方法论](docs/METHODOLOGY.md) | [结果](docs/RESULTS.md) | [局限性](docs/LIMITATIONS.md)
## 这是什么
一个独立的研发项目，旨在研究当大型语言模型（LLM）被组织成多 Agent 系统时，能否发现 DeFi 智能合约中的真实漏洞。
该项目在以下对象中测试了 5 个专门的 AI agent（4× GPT-5.4 Mini + Claude Sonnet 4.5）：
- 32 个教学合约
- 9 个历史 DeFi 攻击事件（损失超 $94M）
- 5 起 2024-2025 年的最新黑客攻击
- 1 个活跃的 bug bounty 目标（Morpho Blue，最高悬赏 $2.5M）
项目总成本：约 $8 的 API 额度。历时约 3 天的集中实验。
## 关键结果
| 测试集 | 分类 HIT | 严格 HIT (LLM judge) | 备注 |
|---|---|---|---|
| 历史 DeFi 攻击事件 (9) | 9/9 = 100% | 未测量 | 模型在训练中已知 |
| 2024-2025 最新 DeFi 攻击 (5) | 5/5 = 100% | 2/5 = 40% | 真实的召回率 |
| 活跃的 bug bounty (Morpho Blue) | 5 项发现 | 0/5 = 0% 已验证 | 顶级审计协议 |
| SmartBugs 教学 (32) | 95% 精确率 | 不适用 | 架构验证 |
系统能够在新代码中找到已知模式（约 40% 的召回率），但无法在顶级审计协议中发现新颖的 0-day 漏洞。这是一个研究结果，而非产品。
## 架构
该系统采用 2→4 漏斗架构，包含五个专门的 agent：
第 1 层 — 通用型（广泛扫描）：
- Baseline (GPT-5.4 Mini) — 广撒网
- Precision (GPT-5.4 Mini) — 高置信度
第 2 层 — 专家型（聚焦）：
- Ext_call (GPT-5.4 Mini) — 外部调用
- Time_rand (GPT-5.4 Mini) — 时间与随机性
- Claude_deep (Sonnet 4.5) — 深度分析
所有发现随后都会通过严格的 LLM-as-judge（LLM 作为裁判）验证。
有关详细分解，请参阅 [METHODOLOGY.md](docs/METHODOLOGY.md)。
## 此仓库包含什么
```
defi-audit-agents/
├── src/ # Production scripts
│ ├── real_defi_v21.py # 5-agent system (final version)
│ ├── claude_v2_test.py # Claude with 2-pass reflection
│ ├── strict_verify.py # LLM-as-judge verification
│ ├── morpho_v2_test.py # Protocol-specific context (RAG)
│ └── ...
├── data/
│ ├── historical_hacks/ # 9 real DeFi exploit contracts
│ ├── fresh_hacks/ # 5 contracts from 2024-2025
│ └── active_bounty/ # Morpho Blue source
├── results/ # All JSON output files
├── docs/
│ ├── METHODOLOGY.md
│ ├── RESULTS.md
│ ├── INSIGHTS.md
│ ├── LIMITATIONS.md
│ └── SETUP.md
├── LICENSE
└── README.md
```
## 快速开始
```
git clone https://github.com/gasangalimov/defi-audit-agents.git
cd defi-audit-agents
python -m venv venv
source venv/bin/activate # On Windows: venv\Scripts\activate
pip install -r requirements.txt
cp .env.example .env
# 使用您的 API keys 编辑 .env
# 复现 9/9 历史漏洞利用结果
python src/real_defi_v21.py
# 在最新漏洞利用上复现 2/5 strict 结果
python src/fresh_hacks_test.py
python src/strict_verify.py
```
详细说明请参见 [SETUP.md](docs/SETUP.md)。
## 关键见解
LLM 找到的是已知模式，而不是新颖的 bug。该系统在历史漏洞利用上达到了 100% 的命中率，因为模型在训练中见过它们，但在严格验证下，对 2024-2025 年新漏洞的命中率仅为 40%。
分类指标高估了能力。我们的系统在最新黑客攻击上展示了 100% 的分类 HIT。在严格的 LLM-as-judge 验证（询问是否真的找到了特定的 bug）下，这一比例降至 40%。
独立验证是最有价值的组件。在 Morpho Blue 上，Pass 1 生成了 9 项“严重”发现，而每一项都是被独立验证器捕获的误报。
特定于协议的上下文可以显著降低噪音。在 prompt 中加入 Morpho 白皮书的事实，将发现项从 9 个（全部为误报）减少到 0 个（诚实地表示“无可添加”）。没有上下文的 LLM 会生成听起来合理的噪音。
在深度分析方面，Claude 优于 GPT。一个带有反思机制的单个 Claude agent 在真实的 DeFi 合约上击败了 4 个 GPT 专家。专家在 SmartBugs 级别的代码中很有用，但对于生产级协议则稍逊一筹。
完整讨论请参见 [INSIGHTS.md](docs/INSIGHTS.md)。
## 适用人群
- 探索 LLM 审计极限的安全研究员
- 评估 AI 工具能力的 Web3 招聘经理
- 资助安全研发的 Grant 项目
- 学习多 Agent 系统设计的学生
- 考虑基于 LLM 的预审计工具的 DeFi 团队
## 这不是什么
- 不是 bug bounty 工具。无法可靠地发现 0-day。
- 不能替代专业审计。请使用 OpenZeppelin、Trail of Bits 或 Spearbit 获取真正的保护。
- 尚未达到生产就绪状态。这是研究代码。
- 不是“神奇”的 AI 审计员。重方法论，轻营销。
## 未来方向
进一步发展的路径：
- 混合 LLM + Foundry 模糊测试 — 使用 Claude 生成假设，通过模糊测试进行验证
- 通过 Halmos 集成符号执行 — 属性的数学证明
- 基于专业审计报告进行微调
- 结合历史漏洞利用数据库的 RAG
技术前景请参见 [LIMITATIONS.md](docs/LIMITATIONS.md)。
## 作者
Grisha ([@bnbslow](https://t.me/bnbslow))
独立研究员，致力于探索基于 LLM 的智能合约审计的极限。启动这个项目是一项自我主导的调查，旨在研究多 Agent AI 系统能否发现真实的 DeFi 漏洞。记录了每一次实验（包括失败），旨在为 Web3 安全领域贡献方法论，而非营销。
- Telegram: [@bnbslow](https://t.me/bnbslow)
- Email: galimov5500@gmail.com
- GitHub: [@gasangalimov](https://github.com/gasangalimov)
## 许可证
MIT — 请参阅 [LICENSE](LICENSE)。
# 俄语版本
## 这是什么
Независимое R&D-исследование возможностей больших языковых моделей (LLM) для поиска уязвимостей в DeFi-контрактах через мультиагентную систему.
В проекте тестируются 5 специализированных AI-агентов (4× GPT-5.4 Mini + Claude Sonnet 4.5) на:
- 32 учебных контрактах (SmartBugs)
- 9 исторических DeFi-эксплойтах ($94M+ потерь)
- 5 свежих хаках 2024-2025 годов
- 1 активной bug bounty цели (Morpho Blue, до $2.5M вознаграждения)
Общая стоимость проекта: около $8 API-кредитов. Около 3 дней работы.
## 关键结果
| Набор тестов | Категориальное HIT | Строгое HIT (LLM judge) | Примечания |
|---|---|---|---|
| Исторические DeFi-эксплойты (9) | 9/9 = 100% | не измеряли | Модели знали их из обучения |
| Свежие DeFi-хаки 2024-2025 (5) | 5/5 = 100% | 2/5 = 40% | Реальная способность |
| Активная bug bounty (Morpho) | 5 findings | 0/5 = 0% verified | Топ-протокол |
| SmartBugs учебные (32) | 95% precision | — | Валидация архитектуры |
Система находит известные паттерны в свежем коде (около 40% recall), но не находит 0-day на топ-аудированных протоколах. Это исследовательский результат, не продукт.
## 架构
5 специализированных агентов в архитектуре 2→4:
Слой 1 — Генералисты (широкий поиск):
- Baseline (GPT-5.4 Mini) — широкая сеть
- Precision (GPT-5.4 Mini) — высокая точность
Слой 2 — Специалисты (узкий фокус):
- Ext_call (GPT-5.4 Mini) — внешние вызовы
- Time_rand (GPT-5.4 Mini) — time/randomness
- Claude_deep (Sonnet 4.5) — глубокий анализ
Затем строгая верификация через LLM-as-judge.
## 主要教训
LLM находят известные паттерны, не новые баги. 100% на исторических эксплойтах (модели их видели в обучении), но только 40% на свежих 2024-25 при строгой верификации.
Категориальные метрики переоценивают способности. Мы видели 100% категориально на свежих хаках. При строгой проверке "ту ли уязвимость нашли?" — упало до 40%.
Независимая верификация — самый ценный компонент. На топ-аудированном Morpho Blue Pass 1 выдал 9 "критических" findings — все оказались false positive после независимой проверки.
Protocol-specific контекст драматически снижает шум. Добавление фактов из whitepaper Morpho сократило findings с 9 (все FP) до 0 (честное "нечего добавить"). LLM без контекста генерируют правдоподобный шум.
Claude превосходит GPT для глубокого анализа. Один Claude с рефлексией работает лучше чем 4 GPT-специалиста на реальных DeFi-контрактах.
## 这不是什么
- Не инструмент для bug bounty. Не находит 0-day надёжно.
- Не замена профессиональным аудитам. Используйте OpenZeppelin, Trail of Bits.
- Не production-ready. Это исследовательский код.
## 作者
Гриша ([@bnbslow](https://t.me/bnbslow))
Независимый исследователь, изучающий пределы LLM-аудита смарт-контрактов. Запустил этот проект как самостоятельное исследование возможностей мультиагентных AI-систем находить реальные уязвимости в DeFi. Каждый эксперимент задокументирован включая провалы, чтобы внести методологический вклад в Web3-безопасность.
- Telegram: [@bnbslow](https://t.me/bnbslow)
- Email: galimov5500@gmail.com
- GitHub: [@gasangalimov](https://github.com/gasangalimov)
## 许可证
MIT — см. [LICENSE](LICENSE).
标签：DeFi, DLL 劫持, PyRIT, 人工智能, 多智能体系统, 大语言模型, 智能合约审计, 用户模式Hook绕过, 逆向工具