annystari/llm-redteam-toolkit

# llm-redteam-toolkit 用于针对以下内容探测 LLM 应用程序的自动化评估框架： [OWASP Top 10 for LLM Applications](https://owasp.org/www-project-top-10-for-large-language-model-applications/) 和 [MITRE ATLAS](https://atlas.mitre.org/) 攻击技术。作为一个作品集项目构建，旨在展示应用型 AI 红队测试：自动化 fuzzing、多 provider 适配器、LLM-as-judge 评分以及 OWASP 映射报告。 ## 这是什么 一个可通过 pip 安装的 Python package + CLI，它可以： 1. 加载对抗性 prompt 集合（来自本地文件或配套的 [Hugging Face dataset](../huggingface-redteam-dataset)）。 2. 对每个 seed prompt 应用可配置的 **mutator**（编码混淆、角色扮演框架、 多轮升级、语言切换）。 3. 通过可插拔的 adapter （OpenAI-compatible、Anthropic 或 Hugging Face Inference）将变异后的 prompt 发送给 **target model**。 4. 使用 **judge**（启发式拒绝检测器 + 可选的 LLM-as-judge）对每个响应进行评分，以判断攻击是否成功。 5. 将结果汇总为 OWASP LLM Top 10 **risk scorecard**（JSON + Markdown）， 可由配套的 Hugging Face Space 使用以生成可视化报告。 ## 这不是什么 这不是一个 jailbreak 分发工具。它附带了一小部分 *placeholder* seed prompt（参见 `examples/`），并从已获得适当授权、已公开的学术基准中提取真实的评估 payload（参见 `docs/METHODOLOGY.md`）。它旨在针对您拥有或明确授权测试的模型/endpoint 进行测试。在针对您无法控制的对象运行此工具之前，请阅读 `docs/RESPONSIBLE_USE.md`。 ## 快速开始 ``` pip install -e . cp examples/example_config.yaml config.yaml # edit target + dataset path redteam-eval run --config config.yaml --out report.json ``` ## 架构 ``` src/redteam_toolkit/ adapters/ # target model connectors (OpenAI, Anthropic, HF Inference) attacks/ # mutators + template loader datasets/ # loads seed prompts (local JSONL or HF `datasets` repo) judge/ # refusal heuristics + LLM-as-judge scorer owasp/ # LLM Top 10 taxonomy mapping report/ # JSON + Markdown scorecard generator cli.py # `redteam-eval` entrypoint ``` ## 路线图 - [ ] 将 `datasets/loader.py` 连接到配套的 HF dataset repo - [ ] 添加 PyRIT / garak adapter 兼容层 - [ ] 在 `docs/` 中发布针对 open-weights model 的首个案例研究 - [ ] 将结果链接到 Hugging Face Space 以生成实时 scorecard ## 相关内容 - Hugging Face dataset: [annystari/redteam-eval-prompts](https://huggingface.co/datasets/annystari/redteam-eval-prompts) (payload 源) - Hugging Face Space: [annystari/redteam-scorecard](https://huggingface.co/spaces/annystari/redteam-scorecard) (可视化 scorecard 演示)

标签：Petitpotam, 文档结构分析, 逆向工具