stevenleon30/red-team-report
GitHub: stevenleon30/red-team-report
基于 Promptfoo 的 AI 客服红队评估项目，提供 prompt 注入、越狱和范围边界三类安全测试用例及报告模板。
Stars: 0 | Forks: 0
# 红队报告
基于 Promptfoo 对 AI 客服智能体进行的红队评估。
仓库：https://github.com/stevenleon30/red-team-report
本项目针对客服系统 prompt 测试了三种攻击类别：
- Prompt injection
- 越狱尝试
- 范围边界违规
## 项目结构
- `attacks/prompt-injection.yaml` - prompt injection 测试用例
- `attacks/jailbreaks.yaml` - 越狱测试用例
- `attacks/scope-boundary.yaml` - 范围边界测试用例
- `RED-TEAM-REPORT.md` - 完整的书面报告
- `RED-TEAM-EXECUTIVE-SUMMARY.md` - 简短摘要报告
## 环境要求
- Node.js 20 或更高版本
- 一个 Anthropic API key
## 设置
1. 安装依赖：
```
npm install
```
2. 如果还没有本地环境文件，请创建一个：
```
cp .env.example .env
```
3. 将你的 Anthropic API key 添加到 `.env` 中：
```
ANTHROPIC_API_KEY=your-key-here
```
## 运行评估
运行单个 eval：
```
npx promptfoo eval --config attacks/prompt-injection.yaml
```
运行其他配置：
```
npx promptfoo eval --config attacks/jailbreaks.yaml
npx promptfoo eval --config attacks/scope-boundary.yaml
```
## 报告
运行 Promptfoo 后，在终端输出中打开生成的报告链接。完整的书面报告位于 `RED-TEAM-REPORT.md` 中，简短版本位于 `RED-TEAM-EXECUTIVE-SUMMARY.md` 中。
## GitHub Actions
本仓库包含一个工作流，它会在 push 和 pull request 时运行所有三个 Promptfoo 配置。
要在 GitHub 中使其运行：
1. 添加一个名为 `ANTHROPIC_API_KEY` 的仓库密钥。
2. 推送你的更改。
3. 在 Actions 标签页中查看结果。
标签：DLL 劫持, MITM代理, 人工智能安全, 合规性, 大语言模型, 测试评估, 红队评估