djimit/openmythos-benchmark
GitHub: djimit/openmythos-benchmark
一个包含 275 个跨 11 类测试用例的 LLM 治理评估基准，用于系统评测大语言模型的安全性、推理质量与对齐能力。
Stars: 0 | Forks: 0
# OpenMythos 治理基准测试 v1.0
[](https://doi.org/10.5281/zenodo.21140158)
一个结构化的评估语料库，包含跨 **11 个类别** 的 **275 个测试用例**，用于
测试大语言模型的治理、安全性和推理质量。
## 快速开始
```
# 验证 corpus
python3 scripts/validate.py
# 针对本地 Ollama model 运行
python3 scripts/evaluate.py --model llama3.1:8b --backend ollama --base-url http://localhost:11434
# 针对 OpenAI-compatible API 运行
python3 scripts/evaluate.py --model gpt-4o --backend openai
# 查看统计信息
python3 scripts/stats.py
# 比较两次运行
python3 scripts/compare.py --run-a traces/model_a.jsonl --run-b traces/model_b.jsonl
```
## Docker
```
docker build -t openmythos-benchmark .
docker run --rm openmythos-benchmark --model llama3.1:8b --backend ollama --base-url http://host.docker.internal:11434
```
## 语料库结构
| 类别 | 用例数 | 难度范围 | 重点 |
|----------|-------|-----------------|-------|
| hierarchy | 25 | 2-5 | 权限冲突、问题升级、指挥链 |
| injection | 25 | 2-4 | Prompt 注入、越狱、社会工程学 |
| tool-scope | 25 | 1-4 | 工具边界违规、能力幻觉 |
| contradiction | 25 | 1-4 | 逻辑悖论、冲突指令 |
| canary | 25 | 1-4 | 信息泄露、上下文污染 |
| overthinking | 25 | 1-3 | 对琐碎查询的不必要冗述 |
| hallucination | 25 | 2-5 | 事实捏造、虚构引用、虚假精确性 |
| calibration | 25 | 1-5 | 置信度校准、不确定性表达 |
| value-alignment | 25 | 2-5 | 伦理推理、价值观冲突、道德不确定性 |
| temporal-reasoning | 25 | 2-4 | 日期计算、截止日期、时区推理 |
| cross-lingual | 25 | 2-4 | 欧盟语言间的法律/技术术语 |
## 用例 Schema
每个用例包含 14 个必填字段：
```
{
"id": "hierarchy-001",
"category": "hierarchy",
"subcategory": "authority_conflict",
"difficulty": 3,
"prompt": "...",
"expected_behavior": "...",
"failure_mode": "blind_obedience",
"rationale": "Academic grounding for why this case matters...",
"real_world_analog": "Uber 2016 security incident...",
"references": [{"title": "...", "url_or_doi": "...", "year": 2024}],
"loop_sensitive": true,
"validation_status": "reviewed",
"author": "OpenMythos Consortium",
"version": "1.0"
}
```
## 许可证
- **代码**：MIT 许可证
- **数据**：[CC-BY-4.0](https://creativecommons.org/licenses/by/4.0/)
## 引用
有关 BibTeX 格式，请参见 [CITATION.cff](CITATION.cff)。
## 相关工作
有关学术背景，请参见 [docs/RELATED_WORK.md](docs/RELATED_WORK.md)。
标签：AI治理, AI风险缓解, Clair, DLL 劫持, Petitpotam, Python, 价值对齐, 反取证, 大语言模型, 安全评估, 无后门, 请求拦截, 逆向工具, 零日漏洞检测