Rubyglask/llm-redteam-corpus-taxonomy

# llm-redteam-corpus-taxonomy 一个用于 LLM 红队 研究与评估的**动态聚合语料库 + 跨框架分类体系**。公开来源，许可清晰，每季度更新。 **一种格式，多个来源。** 我们收集了 **12 个公开的** LLM 红队/安全 数据集，并将它们统一为**单一 schema** —— 经过去重、PII 脱敏， 并保留了每个 prompt 的来源和许可。无需再手动拼接 benchmark； 只需一次 `load_dataset`。 - **语料库** (Phase 1) — 将公开的红队/安全数据集统一为 单一标准 schema，包含去重、PII 脱敏和来源追踪。 根据许可分为 `core`（宽松型）和 `extended` （非商业型）。v0.1.0 发布了 **12 个来源（9 个 core + 3 个 extended）**；有 3 个 被有意排除，另有 2 个正在等待许可验证（见下文）。 - **跨框架分类体系** (Phase 2, Q4) — 跨越 OWASP LLM Top 10 / MITRE ATLAS / NIST AI RMF / EU AI Act / ISO 42001 / KISA AI / CSA AI Safety 的双向映射。 - **动态数据集** — 季度发布 (`vYYYY.QX`) 并附带更新日志论文。 ## 下载 — 选择您的版本 | 我需要... | 数据集 | 行数 | 许可 | |---|---|---|---| | **全部内容**（研究 / 非商业用途） | [`-full`](https://huggingface.co/datasets/rubyglask/llm-redteam-corpus-taxonomy-full) | **64,458** | CC-BY-NC-SA-4.0 | | **商业安全子集** | [`-core`](https://huggingface.co/datasets/rubyglask/llm-redteam-corpus-taxonomy-core) | 44,681 | CC-BY-4.0 | | **仅非商业来源** | [`-extended`](https://huggingface.co/datasets/rubyglask/llm-redteam-corpus-taxonomy-extended) | 26,748 | CC-BY-NC-SA-4.0 | **格式：** Parquet (主要) · JSONL.gz (流式) · DuckDB (分析)。 ## 如何使用 **在代码中** — 一行代码加载（将 `-full` 替换为 `-core` / `-extended`）： ``` from datasets import load_dataset ds = load_dataset("rubyglask/llm-redteam-corpus-taxonomy-full") row = ds["train"][0] # { # "scenario_id": "CN_0000001", "prompt": "...", "language": "en", # "source_id": "anthropic_hh", "source_license": "MIT", # "license_tier": "core", "taxonomy_hints": "{}", # "provenance": "{\"source_url\": \"...\", \"source_citation\": \"...\"}", # } # 按 source 或 license 过滤 harmbench = ds["train"].filter(lambda r: r["source_id"] == "harmbench") commercial_ok = ds["train"].filter(lambda r: r["license_tier"] == "core") ``` **询问 LLM / agent** — 将此内容粘贴到您的编程 agent 中： 请参阅 [`notebooks/01_quickstart.ipynb`](notebooks/01_quickstart.ipynb) 获取 5 分钟的指南。 ## 来源与归属 完整的各来源许可矩阵 + 验证方法： [`docs/license_matrix.md`](docs/license_matrix.md)。各层级归属： `data/{core,extended}/sources.json`。许可已**于 2026-07-03 针对上游 HF/GitHub API 进行了实时验证**。 | # | 来源 | 已验证许可 | 状态 | |---|---|---|---| | 1 | AdvBench (llm-attacks) | MIT | ✅ core | | 2 | HarmBench (centerforaisafety) | MIT | ✅ core | | 3 | JailbreakBench | MIT | ✅ core | | 4 | TDC 2023 Red-Teaming | MIT | ✅ core | | 5 | ForbiddenQuestionSet (verazuo/TrustAIRLab) | MIT | ✅ core | | 6 | Do-Not-Answer (LibrAI) | Apache-2.0 | ✅ core | | 7 | HarmfulQA (declare-lab) | Apache-2.0 | ✅ core | | 8 | AART (walledai) | CC-BY-4.0 | ✅ core | | 9 | Anthropic HH-RLHF (red-team split) | MIT | ✅ core | | 10 | BeaverTails (PKU-Alignment) | CC-BY-NC-4.0 | ✅ **extended** | | 11 | ALERT (Babelscape) | CC-BY-NC-SA-4.0 | ✅ **extended** | | 12 | LMSYS Toxic-Chat | CC-BY-NC-4.0 | ✅ **extended** | | 13 | StrongREJECT | MIT (但捆绑了无许可问题) | ⊘ **已排除** (许可) | | 14 | WMDP-cyber (cais) | MIT | ⊘ **已排除** (双重用途) | | 15 | Anthropic Persuasion | CC-BY-NC-SA-4.0 | ⊘ **已排除** (范围) | | 16 | MaliciousInstruct (Princeton-SysML) | (无) — 未验证 | ⏸ **待定** | | 17 | Korean UnSmile (smilegate-ai) | (无) — 未验证 | ⏸ **待定** | *在 v0.1.0 中构建：9 个 core + 3 个 extended = 12 个来源 (71,429 个 prompt)。* ## 路线图 - **Phase 1 (2026-Q3):** 语料库 core + extended，HF 发布，arXiv 预印本， Zenodo DOI，CI 驱动的季度更新。 - **Phase 2 (2026-Q4):** 7 种框架分类 JSON + 双向 交叉映射（约 300+ 项）+ Papers with Code 条目。 - **Phase 3 (2026-Q4 end):** 集成 v1.0 发布 — 语料库 prompt 自动使用交叉映射的分类 ID 进行标注 + 交互式 HF Space demo。 ## 伦理、双重用途与隐私 此数据集仅用于**防御性红队研究和安全评估**。它 聚合了学术和行业来源中**已经公开的**对抗性 prompt。用户必须： - 遵守每个上游许可（参见 `docs/license_matrix.md`）。 - 未经授权，不得将内容作为攻击部署到系统中。 - 对发现的任何漏洞遵循负责任的披露原则。 **隐私：** 在少数 prompt 中发现的真实电话号码和街道地址已使用 `[PHONE]` / `[ADDRESS]` 进行了脱敏处理。部分特定人员提及可能仍然保留 — 请提 issue 请求移除。 **因安全/许可原因排除：** WMDP（双重用途武器代理知识）、 StrongREJECT（混合了无许可的问题）、Persuasion（不属于攻击 prompt）。 ## 引用 请参阅 [`CITATION.cff`](CITATION.cff)。Zenodo DOI 将在 Phase 1 第 8 周发布。 ## 许可 - **数据 (`data/core/`):** [CC-BY-4.0](LICENSE) - **代码 (`scripts/`, `notebooks/`):** [MIT](LICENSE-CODE) - **扩展 (`data/extended/`):** 继承上游的非商业条款 （包含 CC-BY-NC-SA — 参见 `data/extended/`）。

标签：DLL 劫持, 人工智能, 大语言模型, 安全合规, 数据清洗, 数据集标准化, 时序数据库, 机器学习数据集, 用户模式Hook绕过, 红队评估, 网络代理, 逆向工具