kgtceo/arch-review

# arch-review 一个 **AI 架构/设计审查工具**。粘贴一份系统设计或 RFC；它会像 Staff Engineer 在设计评审中那样进行审查——揭示在**可扩展性、可靠性、成本、安全性、可运维性和可维护性**各个方面的真实风险，每一项都附带严重程度、务实的建议，并立足于实际设计。 它是代码审查工具的系统级伴侣：它不问“这行代码有 bug 吗？”，而是问“这个设计会崩溃吗？成本会太高吗？或者会变得难以维护吗？”——这些正是 Staff Engineer 需要负责的问题。 它共享了其他工具的核心理念：**对 LLM 进行衡量，而不是凭感觉。** 该审查工具受一个**植入缺陷的评估集 (planted-weakness eval set)** 把控——这些设计带有已知缺陷（单点故障、热路径上的同步扇出、读写频繁且无缓存的系统），它必须将其捕获；同时，对于一份完善的设计，它绝不能**无中生有**。 ## 检查内容 - **可扩展性** — 热路径、无限制的扇出、缓存、分区 - **可靠性** — 单点故障、故障模式、重试、数据完整性 - **成本** — 关键路径上明显的成本陷阱 - **安全性** — 密钥、authz、暴露面（在设计层面） - **可运维性** — 可观测性、部署、运维手册 (runbooks) - **可维护性** — 耦合度、复杂性、可演进性 每一条发现都是**有依据的**：它会引用设计中相关的片段，或者在涉及设计*遗漏*的内容时标记为 `general`。依据校验流程会剔除任何引用实际上并不存在于设计中的发现——因此它无法凭空捏造需求。 ## 快速开始 ``` pip install -e . cp .env.example .env # add ANTHROPIC_API_KEY arch-review demo # review a baked-in naive URL shortener arch-review review --file design.md arch-review review --text "One Lambda writes to one DynamoDB table, no caching, 50M reads/day…" ``` ## 评估 ``` python evals/run_evals.py # recall / precision / grounding + an opus judge python evals/run_evals.py --no-judge ``` - **Recall (召回率)** — 针对有缺陷的设计，每一个预期的维度都能获得实质性发现。 - **Precision (精确率)** — 针对完善的设计，不会出现严重/高危发现（不无中生有）。 - **Grounding (依据性)** — 不会有任何发现引用了设计中不存在的片段。 - **Judge (评判)** — opus 对正确性、有用性和严重程度校准进行评分。 ## 测试 ``` pytest -q # offline: the grounding pass + result shaping (fake client, no API key) ``` ## Web `web/` — 一个 Next.js UI：粘贴一份设计，即可获得风险判定结果以及按严重程度排序的发现。参见 [DEPLOY.md](./DEPLOY.md)。 ## License MIT — 参见 [LICENSE](./LICENSE)。

标签：逆向工具