mynulIslam95/llm-redteam-pyrit
GitHub: mynulIslam95/llm-redteam-pyrit
一个基于 Python 的 LLM 红队测试工具包，通过预设攻击用例对大语言模型进行自动化安全测试并生成评分报告。
Stars: 0 | Forks: 0
# LLM 红队测试工具包
一个完整的 Python 工具包，可运行固定的一系列 LLM 攻击，对响应进行评分，并生成 JSON 和 HTML 报告。
## 功能介绍
- 运行 prompt injection、jailbreak、编码和数据泄露测试
- 将每次攻击标记为通过或失败
- 将结果以 JSON 格式保存到 `results/`
- 将可读报告以 HTML 格式保存到 `reports/`
- 支持使用 mock target 进行离线运行
- 在设置 API key 后，可使用 OpenAI 作为目标
- 包含针对攻击库和评分的 pytest 覆盖率测试
## 技术栈
- Python
- OpenAI API（可选）
- pytest
- HTML 报告生成
- 提供 PyRIT 作为依赖项，用于进一步的红队测试实践
## 运行方式
```
python3 -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt
cp .env.example .env
```
离线运行：
```
export MOCK_MODE=true
pytest -q
python -m redteam.run_redteam
```
OpenAI 目标：
```
export MOCK_MODE=false
export OPENAI_API_KEY=your_key
python -m redteam.run_redteam
```
## 项目结构
```
redteam/
attacks.py Attack cases, mock target, scoring
run_redteam.py Main runner and report writer
tests/
test_attacks.py
results/ JSON outputs
reports/ HTML reports
```
## 作者
Mynul Islam
标签：DLL 劫持, Petitpotam, Python, 人工智能安全, 合规性, 多模态安全, 大语言模型, 安全规则引擎, 无后门, 红队评估, 逆向工具