Benjamin-KY/open-harness-atlas

# open-harness-atlas ### **使模型无关的 AI 工作负载成为可能的 OSS 层。** *一个精心策划、司法中立的目录与知识图谱，涵盖免费、 开源的 harness —— 治理、agent、评估、红队、 路由 —— 以及免费的教育资源。* [](LICENSE) [](LICENSE-DOCS) [](pyproject.toml) [](docs/) [](GOVERNANCE.md)  ## 知识图谱 [](https://benjamin-ky.github.io/open-harness-atlas/) *实时 3D 查看器（点击打开）。橙色 = agent · 绿色 = 评估 · 蓝色 = 治理 · 板岩蓝 = 路由 · 红色 = 红队 · 紫色 = 教育。右侧栏：八个入口视角、快速过滤器、搜索、分面过滤器。拖拽进行环绕，滚动进行缩放。*  *力导向静态布局（提供上下文 / 链接预览）。节点颜色 = 类别。节点大小 = 度数（该条目在图谱中拥有的邻居数量）。边 = 显式的 `adjacent_to` 声明。聚类并非手工绘制 —— 它们自然呈现于数据之中。* ## 为什么会有这个项目 **2026-06-13 Fable / Mythos 出口管制召回**事件根据一项美国国家安全指令，在几小时内撤销了对两款 Anthropic 前沿模型的全球访问权限。每一个模型层级仅为 `claude-fable-5` 或 `claude-mythos-5` 的部署都在一小时内向其运维人员发出了告警。而每一个将模型视为 harness 背后可替换后端的部署，只需运行一次配置编辑，便继续提供服务。 本 Atlas 项目编目的是第二种模式的 OSS 层。阅读 [`CHARTER.md`](CHARTER.md) 以获取完整的驱动背景（更广泛的封闭花园趋势、原住民数据治理框架，以及为什么“司法中立”是一项设计承诺而非口号）。 ## 为什么 harness 是模型无关工作负载的基础 **Harness** 是模型*周围*的结构化脚手架，它使得模型本身变得可替换。在 [Harmless Harnesses][hh] 规范（*同级仓库目前为私有；计划公开发布*）中，一个 harness 包含五个组件，每个组件强制执行一项不变量： | # | 组件 | 不变量 | |---|---|---| | 1 | **Policy Router** | 每个请求在调用模型之前都会被分类到一个已知的路由中。 | | 2 | **Source Authority** | 每个声明都引用了白名单来源；知识库即真理。 | | 3 | **Prompt Composer** | 治理提示模板是唯一的系统角色接口。 | | 4 | **Output Contract** | 格式错误或违反策略的输出无法交付。 | | 5 | **Audit Log + FSM Escalation** | 拒绝和升级是确定性的，而非随机性的。 | 当这五项成立时，**模型只是众多输入中的一种** —— 你可以随意替换它。该 Atlas 项目并排编目了哪些 OSS 项目实现了哪些组件：  该 Atlas 的存在是为了让这种模式的*开源*组件（治理 harness、agent 框架、评估 harness、红队 harness、路由基础设施、免费教育）变得可发现和可比较。 ## 六大类别 | 类别 | 编目内容 | 条目数 | |---|---|---| | 🛡 **治理 harness** | 输出契约 / 引用 / 拒绝 / 审计 / 具备评估功能的可观测性 | 103 | | 🤖 **Agent 框架** | 使用工具的多轮 agent runtime | 264 | | 📏 **评估 harness** | 行为度量运行器 | 207 | | 🎯 **红队 / 安全 harness** | 对抗性探测与攻击类别覆盖 | 109 | | 🔀 **路由 / 模型无关基础设施** | 提供商网关与可替换后端 | 104 | | 🎓 **免费教育** | 零成本课程 · 教程 · Cookbook | 73 | | | **总计** | **860** | 计数由 `tests/test_registry.py` 在每次 push 时自动验证。**可视化采用层级** —— 五个采用序数层级（**Landmark · Canonical · Established · Emerging · Frontier** —— 源自 star 数 + 年龄 + 最近 commit 时间）叠加在图谱上，使得较新的条目也清晰可见，而不会在视觉上与里程碑式项目处于同等地位。两个**运营层级**（针对未归档但处于安静稳定状态的项目的 **Dormant**，以及在元数据不可用时的 **Unknown**）在查看器层级图例的单独“Operational”部分呈现，因此它们不会与采用序数轴混淆。**采用速度**（过去 4 周窗口内的每周 star 数）会在定时元数据刷新中针对每个条目进行追踪，并在 [`docs/rising.md`](docs/rising.md) 中排名；两个查看器中的详情面板都会显示一个微小的内联迷你图。有关方法论，请参见 [`docs/sovereignty-rubric.md` §7–8](docs/sovereignty-rubric.md)。 **部署形态** —— 每个条目现在都会声明五种形态之一，以便目录能够一键回答“如果我今天安装它，我能在本地运行它吗？”。当前分布：629 个 local-first（73.1%）· 141 个 local-only（16.4%）· 37 个 cloud-first（4.3%）· 33 个 hybrid（3.8%）· 20 个 api-only（2.3%）—— 目录中 93.4% 的内容在现实情况下均可进行自托管。 通过启发式算法 + 3 模型集成（claude-sonnet-4.5 + claude-opus-4.7-xhigh + gpt-5.4）进行分类；有关各分类明细，请参见 [`docs/deployment-posture.md`](docs/deployment-posture.md) 和[形态图表](visuals/deployment-posture.svg)。使用 **Local-possible only** 标签过滤查看器，即可一键隐藏 cloud-first + api-only 条目。 **设计上不包含在范围内**（在 [`docs/adjacencies.md`](docs/adjacencies.md) 中有交叉链接，未编目）：纯基础设施向量数据库 · 闭源服务 · 付费课程 · 个人博客文章。完整的排除策略请参见 [`GOVERNANCE.md`](GOVERNANCE.md) §8。 ## 使用此 Atlas **浏览**（无需工具 —— 可在任何地方通过 GitHub 运行）： - 从 [`CHARTER.md`](CHARTER.md) 开始了解背景。 - 打开 [`docs/taxonomy.md`](docs/taxonomy.md) 查看 6 大类别的映射。 - 打开 [`docs/sovereignty-rubric.md`](docs/sovereignty-rubric.md) 了解评分方法论。 - 打开 [`docs/deployment-posture.md`](docs/deployment-posture.md) 了解关于“它在哪运行？”的维度（local-only · local-first · hybrid · cloud-first · api-only）。 - 阅读 [`docs/patterns/`](docs/patterns/README.md) 了解 **7 种命名的 harness 设计模式**（评估驱动的关卡 · 保护主权的路由 · 先红队后强化 · 审计日志 FSM 升级 · 多租户策略隔离 · 提供商回退链 · 本地可行的主干）。 - 阅读 [`docs/worked-example-model-agnostic-stack.md`](docs/worked-example-model-agnostic-stack.md) 获取完整的操作指南，该指南逐步讲解了如何从 Atlas 中组装一个可本地部署、模型无关的技术栈 —— 包含设计模式、形态过滤器以及各层级的选型。 - 阅读 [`docs/ROADMAP.md`](docs/ROADMAP.md) 查看直至 2026-12-14 发布 v1.0 的六个月度交付计划。 - 打开比较矩阵：[`docs/governance-matrix.md`](docs/governance-matrix.md)、[`docs/agent-matrix.md`](docs/agent-matrix.md)，以及 [`docs/`](docs/) 下的其他四个文件。 - 从 Fable / Mythos 新闻来到这里？直接跳转到 [`docs/fable-mythos-pattern-fire.md`](docs/fable-mythos-pattern-fire.md)。 **贡献**一个条目： ``` git clone https://github.com/Benjamin-KY/open-harness-atlas cd open-harness-atlas python -m venv .venv ; .\.venv\Scripts\Activate.ps1 pip install -e ".[dev]" Copy-Item registry\_TEMPLATE.yaml registry\\.yaml # 编辑，然后： python scripts\validate_registry.py python -m pytest -q ``` 有关完整的 PR 流程以及 [`GOVERNANCE.md`](GOVERNANCE.md) 中的包含标准，请参见 [`CONTRIBUTING.md`](CONTRIBUTING.md)。 **运行交互式伴侣应用**（可选 —— 需要 Docker + Neo4j）： ``` make neo4j-local # launches Neo4j 5 on bolt://localhost:7687 make companion # emits companion/domain/open-harnesses.yaml cd companion ; create-context-graph ./app --domain ./domain/open-harnesses.yaml --framework pydanticai --demo-data ``` 该伴侣应用是一个由 [`create-context-graph`][ccg] 生成的 FastAPI + Next.js 应用，具有 NVL 图谱可视化功能，由 Neo4j 提供支持，可通过 PydanticAI agent 进行查询。其 fixtures 派生自此仓库的注册表 —— *而不是*由 LLM 生成的。请参见 [`companion/README.md`](companion/README.md)。 ## 仓库结构图 ``` open-harness-atlas/ ├── CHARTER.md # Why this exists — Fable/Mythos, closed-garden, IDSov framing ├── CONTRIBUTING.md # How to add an entry ├── GOVERNANCE.md # Inclusion / scoring / removal policy ├── BRAND.md # Palette, typography, diagram conventions (mirrors harmless-harnesses) ├── CITATION.cff # Academic citation metadata ├── CHANGELOG.md # Per-release changes ├── registry/ # SINGLE SOURCE OF TRUTH — one YAML per entry │ ├── _schema.yaml # JSON schema for entry validation │ ├── _TEMPLATE.yaml # Copy this to add a new entry │ ├── _metadata/ # Auto-refreshed JSON sidecars (bot-owned, do not hand-edit) │ ├── governance/ # Governance harnesses │ ├── agent/ # Agent frameworks │ ├── eval/ # Eval harnesses │ ├── redteam/ # Red-team / safety harnesses │ ├── routing/ # Routing / model-agnostic infra │ └── education/ # Free education resources ├── docs/ # Taxonomy, matrices, rubrics, worked examples ├── visuals/ # hero.svg (banner) · graph.svg (knowledge graph) · viewer-3d/preview.png · five-component-overlay.svg · interactive viewers (index.html + 2d.html) ├── scripts/ # Validate / refresh / build (Python 3.11+) ├── companion/ # Optional create-context-graph companion app ├── tests/ # pytest — hermetic by default └── .github/ # Workflows + issue templates ``` ## 验证 每个 PR 都必须通过： ``` python -m pytest -q # schema · uniqueness · matrices consistency · visuals build python scripts\validate_registry.py ruff check scripts tests ``` 每周运行的 `refresh-metadata.yml` action 会将最新的 GitHub 元数据拉取到 `registry/_metadata/.json` 中，并开启一个包含差异（diff）的 PR。密封的测试套件永远不会连接网络；可选的链接检查会在单独的每周计划中运行。 ## 此 Atlas 的定位 | | 此 Atlas | [Harmless Harnesses][hh] | [sa-sovereign-llm-harness][sa] | |---|---|---|---| | **角色** | 为 OSS 层编目 | 教授如何构建 harness | 研究级原型 + 证据 | | **基调** | 实地指南。中立。重引用。 | 教学性。面向从业者。 | 研究性。IMRAD 结构。基于原始来源。 | | **更新** | 持续（每周刷新元数据） | 标记的发布版本 | 标记的发布版本 | | **您在此离开前往…** | 课程（学习如何构建） · 研究仓库（获取主要证据） | Atlas（寻找 OSS 实现） | Atlas（寻找相邻工具） | *[Harmless Harnesses][hh] 和 [sa-sovereign-llm-harness][sa] 目前均为私有；计划公开发布。该 Atlas 是自包含的 —— 请参见 [`docs/the-harness-paradigm-summary.md`](docs/the-harness-paradigm-summary.md) 了解促使该目录产生的范式背景。* 严格关注点分离 —— 没有重复。交叉链接将在 v1.0.0 版本上线。 ## 许可证 双重许可： - **代码**（`scripts/`、`tests/`、`*.py`）—— **Apache-2.0**。请参见 [`LICENSE`](LICENSE)。 - **目录内容及图像**（`registry/`、`docs/`、`visuals/`、顶层 Markdown 文件）—— **CC BY-SA 4.0**。请参见 [`LICENSE-DOCS`](LICENSE-DOCS)。 ## 引用 ``` Kereopa-Yorke, B. (2026). open-harness-atlas: a jurisdiction-neutral catalog and knowledge graph of free, open-source harnesses for model-agnostic AI workloads. https://github.com/Benjamin-KY/open-harness-atlas ``` 机器可读的元数据位于 [`CITATION.cff`](CITATION.cff)。

_{Also known as / search terms: OSS LLM harness catalog · open-source AI safety frameworks · model-agnostic AI infrastructure · sovereign AI tooling · awesome harnesses · LLM governance frameworks · agent framework comparison · LLM eval harness directory · LLM red-team tooling · AI model routing.}

标签：AI智能体, DNS解析, 人工智能, 安全规则引擎, 开源目录, 开源项目, 模型评估, 用户模式Hook绕过, 请求拦截