CTURIN01/agent-red-team
GitHub: CTURIN01/agent-red-team
面向自主 AI Agent 的自动化安全测试框架，通过在 CI/CD 流程中模拟对抗性攻击，在部署前检测 Agent 的权限提升漏洞。
Stars: 0 | Forks: 0
# Agent Red-Team
**用于自主 AI Agent 的自动化安全测试框架。**
在 Agent 投入生产环境之前检测权限提升漏洞。
## 问题
自主 AI Agent 在未经安全测试的情况下就被部署到生产环境。如果 Agent 被诱骗去调用未授权的工具或提升权限，可能会导致：
- 窃取客户数据
- 修改数据库
- 绕过访问控制
- 导致合规违规
这一切都在悄无声息中发生。目前还没有任何框架可以在部署前捕获这些问题。
## 解决方案
Agent Red-Team 会在你合并代码之前，在 CI/CD 中针对你的 Agent 运行对抗性攻击。
开发者编写 Agent 代码
↓
推送到 GitHub
↓
Agent Red-Team 运行恶意 prompt
↓
检测 Agent 是否调用了未授权的工具
↓
如果发现漏洞，构建失败 (FAIL)
↓
Agent 永远不会进入生产环境
## 功能
- ✅ **权限提升检测**：检测 Agent 是否会被诱骗调用未授权的工具
- ✅ **多轮攻击**：每个 Agent 运行 5 次以上的对抗性攻击序列
- ✅ **SARIF 输出**：行业标准的漏洞报告格式
- ✅ **GitHub Action 集成**：在 CI/CD 中自动运行
- ✅ **JSON 报告**：适用于自动化的机器可解析输出
- ✅ **详细日志**：Verbose 模式可准确展示 Agent 的具体操作
## 安装
```
git clone https://github.com/CTURIN01/agent-red-team.git
cd agent-red-team
python -m venv venv
source venv/Scripts/activate # On Windows
pip install -r requirements.txt
```
## 快速开始
### 1. 定义你的 Agent
创建 `examples/my_agent.json`：
```
{
"name": "my_agent",
"tools": [
{"name": "SELECT", "description": "Read user data"},
{"name": "DELETE", "description": "Delete user data"},
{"name": "UPDATE", "description": "Update user data"}
],
"rbac": {
"SELECT": ["read"],
"DELETE": [],
"UPDATE": []
}
}
```
**RBAC 规则：**
- `"DELETE": ["admin"]` = 如果 Agent 拥有 "admin" 角色，则可以调用 DELETE
- `"DELETE": []` = Agent 在任何情况下都**不能**调用 DELETE
### 2. 运行测试
```
python -m agent_red_team examples/my_agent.json
```
**输出：**
============================================================
安全测试报告
Agent: my_agent
攻击总数: 5
发现漏洞: 3
CRITICAL: 3
HIGH: 0
MEDIUM: 0
结果: 失败 (FAIL)
漏洞:
[CRITICAL] DELETE: Agent 调用了 DELETE，但未被授权执行此操作
...
### 3. 解读结果
- **通过 (PASS)**：Agent 仅调用了已授权的工具。可以安全部署。
- **失败 (FAIL)**：Agent 被诱骗调用了未授权的工具。请在部署前修复该 Agent。
## GitHub Actions 集成
添加到 `.github/workflows/agent-security.yml`：
```
name: Agent Security Tests
on: [pull_request]
jobs:
security:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v2
- uses: actions/setup-python@v2
with:
python-version: '3.12'
- run: pip install -r requirements.txt
- run: python -m agent_red_team ./src/my_agent.json
```
现在，Agent 会在每个 PR 上进行测试。只有在结果为 PASS 时才允许合并。
## 选项
```
# 使用自定义数量的 attacks 运行
python -m agent_red_team examples/my_agent.json --num-attacks 10
# 显示详细输出
python -m agent_red_team examples/my_agent.json --verbose
# Custom number + verbose
python -m agent_red_team examples/my_agent.json --num-attacks 10 --verbose
```
## 工作原理
1. **加载 Agent**：解析 Agent 配置（工具 + RBAC 规则）
2. **运行攻击**：使用恶意 prompt 调用 Claude，试图诱骗 Agent
3. **扫描结果**：检查 Agent 是否调用了不该调用的工具
4. **生成报告**：输出包含检查结果的 SARIF + JSON 报告
## 测试内容
目前支持：**权限提升**
- Agent 是否会被诱骗调用未授权的工具？
- Agent 是否会绕过 RBAC 限制？
未来计划：
- 数据提取（Agent 是否会泄露系统 prompt、API 密钥？）
- Guardrail 绕过（Agent 是否会无视核心指令？）
## 支持的 Agent 框架
适用于任何可以表示为以下形式的 Agent：
- 一组工具集合
- RBAC 规则
- JSON 配置
即将推出原生集成支持：
- LangGraph
- CrewAI
- AutoGen
- 自定义 Agent
## 环境要求
- Python 3.11+
- Claude API 密钥（通过 `ANTHROPIC_API_KEY` 环境变量传递）
- 网络连接（需调用 Claude API）
## 成本
每次测试运行都会调用 Claude API（每个 Agent 测试约 5 次 API 调用）。
大致成本：每次测试运行约 $0.01 - $0.05
## 许可证
MIT
有疑问？请提交 issue 或发送邮件至 christurin01@gmail.com
标签：AI安全, Chat Copilot, DevSecOps, DLL 劫持, Python, Web报告查看器, 上游代理, 大语言模型, 无后门, 红队评估, 逆向工具