ibrahimfiyci/automated-llm-red-teaming-framework
GitHub: ibrahimfiyci/automated-llm-red-teaming-framework
一个用于结构化 LLM 安全评估与 AI 红队测试的防御性研究框架，通过组织受控黑盒测试并生成可读报告来帮助研究安全控制机制在对抗压力下的表现。
Stars: 0 | Forks: 0
# 自动化 LLM 红队与对抗性越狱框架
用于结构化 LLM 安全评估、AI 红队和智能体 AI 风险测试的防御性研究项目。
## 目的
本项目旨在组织针对 LLM 应用和自主 AI 智能体的受控黑盒测试。目标是研究安全控制机制在对抗性压力下的行为表现，并生成可读的 Markdown 报告以供审查。
## 涵盖范围
- LLM 安全行为评估
- Prompt 注入与间接 Prompt 注入测试组织
- 智能体目标劫持场景
- 未经授权的工具使用风险检查
- 响应评分与 Markdown 风险报告
- 使用 Ollama 和 Llama 3 进行本地模型测试
- 通过 API 适配器进行托管模型测试的模式
## 计划结构
```
.
├── datasets/
├── reports/
├── src/
│ ├── evaluators/
│ ├── targets/
│ ├── test_cases/
│ └── reporting/
└── tests/
```
## 技术栈
- Python
- LangChain
- Claude 3.5 Sonnet API
- Ollama
- Llama 3
- Markdown
- Git
## 安全范围
本仓库应侧重于防御性评估结构、报告和安全示例。不应发布可直接使用的越狱 payload、真实目标数据或分步绕过说明。
## 学习笔记
本项目涉及的有用概念包括 OWASP LLM 风险、MITRE ATLAS 风格的威胁映射、Prompt 注入防御以及安全的智能体设计。
标签：AI安全, AI风险缓解, Chat Copilot, DLL 劫持, Python, 大语言模型, 安全测试, 攻击性安全, 无后门, 红队评估, 网络安全研究, 逆向工具, 防御加固