IT-Help-San-Diego/archetype-mesh-benchmark

# Archetype Mesh Benchmark **像科学家一样测试你的本地 AI 模型 —— 在你自己的硬件上，并提供可审计的证据。** 一个本地优先的基准测试仪表板，适用于 [LM Studio](https://lmstudio.ai) 和云端 LLM，用于衡量模型*实际上*能做什么 —— 视觉、工具使用、推理、提示词注入抵抗力 —— 使用真值测试、N=3 试验、SHA3 封存的证据，并且对任何人的营销数据保持零信任。使用 Rust（Axum + Tokio + SQLx + PostgreSQL）构建，配备一个由 Server-Sent Events 驱动的单文件实时仪表板。 由 [IT Help San Diego Inc.](https://www.it-help.tech/) 制作 · [Intellectual Resistance](https://intellectualresistance.com/) 项目之一 ## 为什么会有这个项目 标准化基准测试（MMLU 等）都是公开的 —— 模型已经在这些数据上进行了训练，因此不能仅相信这些数字。与此同时，在自己的机器上运行本地 AI 的人们没有可靠的方法来回答这些基本问题： - *我的哪些模型实际上能读取屏幕截图中的文本 —— 哪一个在无法读取时会**编造听起来合理的文本**？* - *基于**我测量出的证据**，而不是参数数量的直觉，哪个模型应该放在哪个工作槽位（视觉、工具路由、命令批准）？* - *“失败”是真正的能力差距，还是我的基础设施在欺骗我？* 这个工具以实验室记录本的严谨性来回答这些问题： | 原则 | 实现 | |---|---| | **无答案泄露** | 真值仅存在于数据库中；永远不会向模型展示它的评分依据。测试构建器会拒绝包含其自身答案的 prompt。 | | **始终 N=3 试验** | 一次通过可能是运气。能力轴评分为 PASS / FAIL / FLAKY；安全性评分为 SAFE / UNSAFE / FLAKY。 | | **客观评分** | 评判结果来自于将输出与真值进行比较（精确匹配、子字符串、正则表达式、空间关系、工具调用结构） —— 绝不是通过询问模型的意见。 | | **洁净室运行** | 在每次本地运行之前，所有已加载的模型都会被弹出，仅加载目标模型，并且通过轮询来验证 RAM 驻留情况 —— 绝不靠猜测。 | | **封存的证据** | 每次试验都会存储确切的 prompt、原始响应、推理轨迹和延迟。每次运行都使用 SHA3-512 来源哈希进行封存。测试图像通过 SHA3-256 锁定，因此刺激源不会发生偏移。 | | **基础设施错误 ≠ 能力失败** | 阻止请求的配置错误会被记录为基础设施噪声，并从能力评分中排除 —— 模型绝不会因为你的网络问题而背锅。 | | **完整的引用图谱** | 每一个试验行都链接到其确切的测试（prompt + 锁定的图像 + 真值）及其运行封条。可以从两个方向查询证据。 | ## 它在第一周内发现的问题（真实案例） - 一个 12B 视觉模型**自信地捏造了**它无法读取的屏幕截图的**整个侧边栏** —— 凭空发明了听起来合理的笔记标题，实际上一个都不存在。Token 收据（整个图像被压缩为约 256 个视觉 token）解释了*原因*：在那种预算下，文本在物理上是无法读取的，因此模型选择了捏造而不是承认。 - 一个 2B 模型**确定性地未能通过同一项测试** —— 连续三次试验给出相同的错误答案（它读取了菜单栏的*图标*并报告了错误的应用程序）。其他四个模型每次都能 3/3 正确读取相同的像素。那一张截图现在成了永久的回归测试用例。 - 排行榜公式本身甚至被发现将一个纯文本编码器模型在总体上排名第一，*尽管它在视觉方面的硬失败率为 100%* —— 因为旧的评分只计算获胜次数。该问题已修复、经过回归测试，并记录在提交历史中。 - 一个空的模型响应（推理预算耗尽，`finish_reason: length`）之前被**渲染得就像它是一个答案一样**。现在它会显示一个醒目的失败标志：“NO FINAL ANSWER — 这是一个失败，而不是结果。” 提交历史是刻意做到极其详尽的 —— 大多数修复都引用了促使它们产生的真实事件。 ## 功能 - **🏁 基准测试网格** —— 你的 LM Studio 库中的每一个模型以及配置的云端模型（Nous, OpenRouter），包含带有延迟的单轴评判结果、实时 SSE 遥测（`ejecting → loading → resident → trial → verdict`）、真实的时间戳，且没有任何加载动画。 - **🏆 战利品页面** —— 排行榜 + “推荐团队”（每个工作槽位下经过验证的最佳模型），以及一个**能力路由器**，它根据历史证据为每个轴分配主/备模型，并附带说明的理由和证据链接（`/api/router/plan`）。 - **🧪 Prompt 构建器** —— 并排的工作台：左侧编写（文本 + 图像），右侧查看结果。推理轨迹与提交的答案分开显示。持久的运行历史记录 —— 你运行的每一项测试都会被保留，可查询、可重访。Prompt 长度检查器提供即时启发式检查 + 可选的精确 token 计数。 - **📋 测试注册表** —— 默认盲测（真值需要明确的审计视图才能查看），带有防泄露验证的自定义测试构建器，可查看 SHA3 锁定的图像附件。 - **🖥️ 现实检验** —— 设置页面会*测量你的机器*（通过 `sysctl` 获取 RAM，通过 Metal 的 `recommendedMaxWorkingSetSize` 获取 GPU 上限 —— 这是官方文档记录的 API，而不是民间偏方，实时内存压力，LM Studio 状态），并使用显示出的公式计算出诚实可靠的 AI RAM 预算。每一个数字都附带有其来源命令。 - **⚙️ Hermes 感知** —— 如果你运行 [Hermes Agent](https://hermes-agent.nousresearch.com)，设置页面会读取你的实际配置（仅限白名单字段 —— 绝不涉及凭证），并显示主模型和辅助任务槽位的已验证 ✅ 状态。 ## 将此项目与 Hermes Agent / Hermes Desktop 结合使用 此仪表板与 [Hermes Agent](https://hermes-agent.nousresearch.com)（Nous Research 的开源 agent runtime）天然契合 —— 它是在实际运行 Hermes 部署的过程中构建的： - **基于证据而非直觉进行路由：** 运行基准测试套件，然后打开 `GET /api/router/plan` —— 它会为每个能力轴分配一个经过验证的主模型 + 备用模型。将这些映射到 Hermes 的 **Settings → Model Settings → Auxiliary Tasks** 槽位（视觉、MCP 工具路由、批准分类、网络提取）。设置标签页会显示确切的映射关系。 - **“Approval”槽位是你的安全防线：** Hermes 的智能自动批准功能会将 shell 命令发送给模型，以进行 APPROVE/DENY/ESCALATE 判断。此仪表板的安全轴测量的正是这项工作 —— 针对真实注入 payload 的提示词注入抵抗力 —— 这样你就可以在那里固定一个*经过验证的*本地模型，而不是靠猜。 - **只读的配置验证：** 设置标签页通过严格的白名单读取 `~/.hermes/config.yaml`（绝不读取凭证），并针对 Hermes 实际配置的内容显示实时的 ✅/⚠️ 状态。 不要求必须使用 Hermes —— 该仪表板可以与 LM Studio 和/或任何 OpenAI 兼容的云端 endpoint 独立运行。 ## 技术栈 - **后端：** Rust —— Axum 0.8, Tokio, SQLx 0.9, PostgreSQL, reqwest, SHA-3。单一静态二进制文件。 - **前端：** 一个 HTML 文件，零框架，零构建步骤。使用 SSE 进行实时更新。 - **证据存储：** PostgreSQL（可使用任何 SQL 客户端进行检查 —— 数据库 schema *本身即是* API）。 - **模型 I/O：** LM Studio REST (`/api/v0`)，OpenAI 兼容的云端 endpoint。 无遥测。除了你配置的模型 endpoint 外，无任何外部调用。仅绑定到 `127.0.0.1`。 ## 快速开始 ``` # 前提条件：Rust toolchain、PostgreSQL、LM Studio 及其在 :1234 上的本地服务器 git clone https://github.com/IT-Help-San-Diego/archetype-mesh-benchmark.git cd archetype-mesh-benchmark cp .env.example .env # set DATABASE_URL (and optional cloud API keys) cargo run --release # migrations run automatically # 打开 http://127.0.0.1:8768 ``` 从仪表板同步你的 LM Studio 库（**LM Studio → Sync**），选择一个模型，点击 **▶ Run** —— 然后观看实时日志。评判结果会连同延迟一起出现在网格上；证据则会带着封条存入 Postgres。 ## 理念 这个项目认为，泛滥的 AI 生成的伪科学垃圾只能通过**降低严谨方法的成本**来解决，而不是靠建立门槛。任何拥有一台笔记本电脑和好奇心的人都可以进行受控实验：锁定刺激源、提交的答案、N=3、封存的结果。该仪表板被刻意设计成一位老师 —— 它会解释其公式，展示其收据，并将其启发式方法明确标记为启发式。 如果屏幕上的一个数字无法引用其来源，那就是一个 bug。请提交它。 ## 许可与署名 © IT Help San Diego Inc. 研究成果由 Carey James Balboa 和 IT Help San Diego Inc. 发布 —— 详见 [Intellectual Resistance](https://intellectualresistance.com/) 项目。

标签：DLL 劫持, LM Studio, Rust, 互联网扫描, 人工智能, 可视化仪表盘, 可视化界面, 多模态安全, 大语言模型, 性能测试, 测试用例, 用户模式Hook绕过, 网络流量审计, 通知系统