prinz-ai/prinzbench

 # prinzbench[^1] prinzbench 是一个私有 benchmark，旨在根据 LLM 进行法律研究和分析（“法律推理”）以及在网上查找冷门的公开信息（“大海捞针式搜索”）的能力对其进行排名。 当前的排行榜如下方所示，随后是关于方法论、评分标准、模型访问以及特定模型性能的说明。 最后更新于 2026 年 7 月 6 日  | 模型 | prinzbench (总分) 得分 (x/99) | 法律研究子得分 (x/75) | 搜索子得分 (x/24) | | --------------------------- | -----------------------------: | ------------------------------: | ----------------------: | | gpt-5.5-pro (extended)* | 82 | 63 | 19 | | gpt-5.4-pro (extended) | 79 | 59 | 20 | | gpt-5.5-thinking (heavy)* | 74 | 56 | 18 | | gpt-5.4 (xhigh) | 69 | 50 | 19 | | gpt-5.4-thinking (heavy) | 68 | 49 | 19 | | gpt-5.4-thinking (extended) | 58 | 43 | 15 | | fable-5 (max) | 56 | 49 | 7 | | gpt-5.2-thinking (extended) | 52 | 41 | 11 | | gpt-5.3-codex-high | 52 | 41 | 11 | | gemini-3.1-pro | 50 | 41 | 9 | | grok-4.20 | 43 | 34 | 9 | | opus-4.8 (max) | 42 | 35 | 7 | | gemini-3-flash | 36 | 29 | 7 | | gemini-3-pro | 35 | 29 | 6 | | kimi-k2.5-thinking | 35 | 28 | 7 | | meta-muse-spark | 31 | 24 | 7 | | glm-5.2 | 30 | 25 | 5 | | grok-4.1-thinking | 25 | 19 | 6 | | qwen-q3-max | 25 | 18 | 7 | | opus-4.7 | 25 | 21 | 4 | | grok-4 | 23 | 16 | 7 | | deepseek-v4-pro | 23 | 17 | 6 | | kimi-k2-thinking | 22 | 18 | 4 | | sonnet-4.5 | 20 | 20 | 0 | | opus-4.6 | 19 | 18 | 1 | | opus-4.5 | 14 | 14 | 0 | | sonnet-4.6 | 8 | 8 | 0 | ~* 表示在公开发布前早期测试中访问的模型。 ## 目的 创建此 benchmark 的原因： 1. 近期，人们对衡量 LLM 执行具有经济价值工作的能力的 benchmark 产生了浓厚兴趣。*prinzbench* 的主题——法律研究——正是一项具有经济价值的工作。 2. 许多现有的 LLM benchmark 侧重于数学和编程等科目，并且最近 LLM 在这些 benchmark 上的性能有了急剧提升。然而，一些怀疑论者宣称，现有的 LLM 之所以在数学和编程方面表现出色，仅仅是因为前沿实验室为了这些特定任务对模型进行了过拟合，即“攀登 benchmark 的高峰”，尽管 AI 模型在其他现实世界任务中的辅助能力仍然有限。*prinzbench* 通过展示某些现有 LLM 在正确研究和分析美国法律特定细分领域的法规、条例和监管指南方面具备出人意料的强大能力，证明了这些怀疑论者是错误的。[^2] ## 方法论 *prinzbench* 旨在测试 AI 模型的以下能力： 能够找到与回答法律研究问题相关的法律权威依据或事实信息；以及 正确分析现有的法律权威依据以得出正确的结论。为此，*prinzbench* 包含： * 25 个**法律研究**问题，每个问题都向 LLM 呈现一个必须根据适用的美国法律进行正确分析的事实模式 * 8 个**搜索**问题，每个问题要求 LLM 在网上查找一条冷门的公开信息 所有 33 个问题均由作者编写，且从未——也绝不会——与任何其他人分享。 **法律研究**问题均与美国法律中作者所擅长的特定细分领域相关。为了正确回答这些问题，要求 LLM 找到相关的法规、条例和/或监管指南——所有这些都是公开可用的。每个法律研究问题的答案只需通过审查少数适用的法律权威依据即可找到；LLM 绝不需要费力查阅数百个案例并比对它们的裁定才能得出正确答案。某些法律研究问题还要求 LLM 找到冷门的公开事实信息才能得出正确的结论。 在 *prinzbench* 中加入**搜索**问题是为了强化该 benchmark 测试 LLM “大海捞针式”搜索能力的能力。这些问题不一定与法律实务相关。 作者认为 *prinzbench* 中包含的所有问题都非常困难：通常属于这样一种类型，即根据作者的判断，如果在没有提供任何超出给予 LLM 的提示之外的研究方向的情况下，在相关法律领域执业的普通初级律师可能无法正确回答。在编写 *prinzbench* 时，作者努力只包含真正具有挑战性的问题，并且在决定是否将其纳入 benchmark 之前，每个候选问题都曾以 ad-hoc 方式在各种 LLM 上进行了测试。通过这一过程，有超过 100 个候选问题被拒绝，因为令作者感到挫败的是，LLM 觉得它们“太简单了”。 为了得出每个模型的 *prinzbench*（总分）得分，每个模型被准确询问了所有 33 个问题各三 (3) 次。每次回答均按 pass@1 进行评分。*prinzbench*（总分）的最高得分为 99 分（*即*，33 个问题 * 3）。 除了每个模型的 *prinzbench*（总分）得分外，排行榜还展示了每个模型的法律研究子得分（最高 75 分）和搜索子得分（最高 24 分），仅供参考。 ## 评分标准 每个 LLM 对每个问题的回答均由作者亲自评分，未借助 AI 的帮助。作者在评分时完全了解是哪个模型产生了该输出（即，评分不是“盲评”）。 关于评分的一些技术细节： * 如果在模型的回答中任何地方出现了正确的法律结论，即判定该回答为正确。例如，假设某个特定问题的正确答案是：“你必须累计至少 1,000 笔同类交易的影响才能违反该法律；因为在规定的时间范围内不太可能出现 1,000 笔这样的交易，所以几乎可以肯定该法律没有被违反。”如果这段确切的推理包含在模型回答的正文之中，但模型的结论段落只是简单地说法律没有被违反，该回答仍被标记为正确。 * LLM 倾向于在其回答中包含无关信息，而这些信息与回答问题没有直接关联。在对 LLM 的回答进行评分时，所有这些无关信息均被忽略——无论它们在事实上是否准确或在法律上是否正确。换句话说，对模型的评分是基于它们回答特定问题的能力，而不是整个回答的准确性。 ## 模型性能详情；模型访问 ### OpenAI #### GPT-5.5 2026 年 4 月，**gpt-5.5-Pro (Extended)** 在 *prinzbench* 上创下了新纪录，总得分为 82/99（比 **gpt-5.4-Pro (Extended)** 高出 3 分）。该模型在法律研究方面的表现明显优于 **gpt-5.4-Pro (Extended)**（63/75 对比 59/75），但在搜索方面略逊一筹（19/24 对比 20/24）。 撇开 Pro 模型（涉及并行化计算；见下文注释）不谈，同样在 2026 年 4 月测试的 **gpt-5.5-Thinking (Heavy)** 是 *prinzbench* 上表现最好的模型，总得分为 74/99。该模型的表现明显优于（*即*高出 5 分）表现次优的非 Pro 模型 **gpt-5.4 (xhigh)**。该模型在法律研究方面的表现明显优于 **gpt-5.4 (xhigh)**（56/75 对比 50/75），但在搜索方面略逊一筹（18/24 对比 19/24）。 这些结果向作者表明，**gpt-5.5** 模型是比 **gpt-5.4** 模型更好的推理器，但搜索能力稍差（这可能是因为它们产生结果的速度要快得多——据推测，部分原因是它们花在搜索上的时间更少）。 正如作者在[其他地方](https://x.com/deredleritt3r/status/2047395657405940054)所述，**gpt-5.5-Pro (Extended)** 回答每个问题所花费的时间明显少于 **gpt-5.4-Pro (Extended)**（每个问题约 8 分钟，而后者约 30 分钟）。同样，**gpt-5.5-Thinking (Heavy)** 回答每个问题所花费的时间也明显少于 **gpt-5.4-Thinking** 模型（每个问题约 2 分钟，而后者约 8 分钟）。这是速度上的显著提升，这将使 **gpt-5.5** 模型在法律工作中更加有用。 **虽然 gpt-5.5-Pro 和 gpt-5.4-Pro 在 *prinzbench* 上取得的分数令人印象深刻，但作者提醒不要直接将它们与迄今为止测试的其他模型所取得的分数进行比较，因为 Pro 模型是极重度的推理模型，它们使用并行测试时计算，因此通常比这些其他模型消耗多得多的计算资源。**[^3] #### 早期模型 在 2026 年 1 月该 benchmark 刚创建时，**gpt-5.2-Thinking** 以极大的优势取得了 *prinzbench* 的最高分（52/99，而表现次优的模型为 36/99）。该模型还获得了迄今为止最好的法律研究和搜索子得分（分别为 41/75 和 11/24）。 2026 年 2 月，**gpt-5.3-Codex-high** 追平了此前由 **gpt-5.2-Thinking*** 取得的高分。虽然这两个模型最终取得的总分和子得分完全相同，但作者发现它们具有不同的优缺点。例如，**gpt-5.3-Codex-high** 在某个特定问题上获得了 3/3 的满分，而在此之前没有任何其他模型（包括 **gpt-5.2-Thinking***）能够正确解决这个问题。 2026 年 3 月，**gpt-5.4-Thinking** 在各方面的得分均优于 **gpt-5.2-Thinking**。具体而言，**gpt-5.4-Thinking (Extended)** 在 *prinzbench* 上的得分比 **gpt-5.2-Thinking (Extended)** 高出 6 分（58/99 对比 52/99），而 **gpt-5.4 (xhigh)** 则取得了当时非 Pro 模型的最佳成绩（69/99）。此外，**gpt-5.4-Pro (Extended)** 在 *prinzbench* 上获得了 79/99 的总分——这是截至该日任何模型在该 benchmark 上取得的最好成绩。特别是，**gpt-5.4** 模型在 *prinzbench* 的搜索部分表现异常出色（**gpt-5.4-Pro (Extended)** 为 20/24，而 **gpt-5.4-Thinking (Heavy)** 和 **gpt-5.4 (xhigh)** 均为 19/24）。 #### 模型访问： **gpt-5.2-Thinking** 和 **gpt-5.4-Thinking**（“Extended Thinking”）分别于 2026 年 1 月和 2026 年 3 月通过作者个人的 ChatGPT Plus 账户进行访问。**gpt-5.5** 系列模型和 **gpt-5.4** 系列模型（对于 Pro 模型，均使用“Extended”推理强度；对于 Thinking 模型，均使用“Heavy”推理强度）分别于 2026 年 4 月和 2026 年 3 月通过作者个人的 ChatGPT Pro 账户进行访问。为了禁用 ChatGPT 的 Memory（记忆）和 custom instructions（自定义指令）功能，每次对话均为临时对话。**gpt-.3-Codex-high** 和 **gpt-5.4-Thinking-xhigh** 分别于 2026 年 2 月和 2026 年 3 月由作者通过终端访问，并连接了其个人的 ChatGPT Plus/Pro 账户。 作者获得了提前访问 **gpt-5.5-Pro** 和 **gpt-5.5-Thinking** 的权限；详情请参见脚注 1。 ### Google 在 2026 年 1 月该 benchmark 刚创建时，**gemini-3-flash** 和 **gemini-3-pro** 分别在 *prinzbench* 上获得了第二名和第三名，仅次于 **gpt-5.2-Thinking**。这两个模型的得分几乎相同（分别为 36/99 和 35/99）。这些模型展现出了极强的法律研究能力，仅次于 **gpt-5.2-Thinking**，并远强于受测的 Anthropic、xAI 和 Moonshot 模型。 于 2026 年 2 月受测的 **gemini-3.1-pro**，在性能上几乎追平了 OpenAI 的模型（**gpt-5.2-Thinking** 和 **gpt-5.3-Codex-high**）（50/99 对比两个 OpenAI 模型的 52/99）。作者认为这三个模型在 *prinzbench* 上取得的分数大致相同。 #### 模型访问： 2026 年 1 月，**gemini-3-flash** 和 **gemini-3-pro** 均通过 AI Studio 访问，设置如下：Temperature（温度）：1；Thinking Level（思考级别）：High；Grounding with Google Search（基于 Google 搜索）：开启。2026 年 2 月，通过 AI Studio 访问 **gemini-3-pro** 时使用了相同的设置。 ### Anthropic #### Fable 5 (Max) 在 2026 年 6 月至 7 月期间，**fable-5 (max)** 取得了迄今为止在 *prinzbench* 上任何非 OpenAI 模型的最佳成绩，得分为 56/99。该模型获得了极佳的法律研究得分（49/75），但在搜索方面得分较差（7/24）。 该模型在法律研究方面的表现（49/75）与 **gpt-5.4-Thinking (heavy)** 持平，但逊于 **gpt-5.5-Thinking (heavy)**（56/75）。需要注意的是，*prinzbench* 的法律研究得分在一定程度上取决于模型的搜索能力，因为正确回答法律研究问题要求模型： 在网上找到相关的法律权威依据（*即*执行网络搜索），以及 正确解释这些法律权威依据。作者相信，如果 **fable-5** 配备了更好的网络搜索能力，其法律研究得分将超过 49/75——尽管目前尚不清楚在此种情况下，其表现究竟会是低于、持平还是高于 **gpt-5.5-Thinking (heavy)** 的水平。撇开 **fable-5** 糟糕的网络搜索能力不谈，作者倾向于总体上将 **fable-5 (max)** 和 **gpt-5.5-Thinking (heavy)** 视为大致属于同一级别的模型（略微偏向后者）。 #### 早期模型 在 2026 年 1 月至 4 月期间，Anthropic 模型（从 **opus-4.5** 到 **opus-4.7**，以及从 **sonnet-4.5** 到 **sonnet-4.6**）在 *prinzbench* 上的得分较差，其中 **opus-4.7** 得分最高（25/99）。这些模型在搜索方面的表现尤其糟糕，其中 **opus-4.7** 得分最高（4/24）。 2026 年 6 月，**opus-4.8 (max)** 取得了迄今为止 Anthropic 模型在 *prinzbench* 上的最佳成绩，得分为 42/99。作者推测，**opus-4.7** 和 **opus-4.8**（25/99 对比 42/99）之间的大部分性能提升归功于 Max 推理设置，该设置在前一个模型中不可用，但在后一个模型中变得可用。 #### 模型访问： 2026 年 1 月，**opus-4.5** 和 **sonnet-4.5** 均从作者个人的 Claude Pro 账户访问，并开启了“Extended Thinking”。2026 年 2 月，**opus-4.6** 和 **sonnet-4.6** 从作者个人的 Claude Pro 账户访问，并开启了“Extended Thinking”。2026 年 4 月，**opus-4.7** 从作者个人的 Claude Pro 账户访问，并开启了“Extended Thinking”。2026 年 5 月末/6 月初，**opus-4.8** 从作者个人的 Claude Pro 账户访问，并开启了“Max”推理强度。2026 年 6 月及（在该模型重新发布后）2026 年 7 月初，**fable-5** 从作者个人的 Claude Pro 账户访问，并开启了“Max”推理强度。为了禁用 Claude 的 Memory（记忆）和 custom instructions（自定义指令）功能，每次对话均为临时对话。 ### xAI 在 2026 年 1 月该 benchmark 刚创建时，**grok-4.1-Thinking** 和 **grok-4** 在 *prinzbench* 上的表现平平，得分分别为 25/99 和 23/99。在搜索子得分方面，这些模型的表现与 Google 模型相当（分别为 6/24 和 7/24——与 **gemini-3-flash** 和 **gemini-3-pro** 取得的成绩相同），但在法律研究子得分上的表现明显不如 Google 模型。 2026 年 2 月，**grok-4.20** 取得了 *prinzbench* 的第四高分（43/99）。该模型似乎提取了由四个不同 agent 独立取得的结果中的“最佳值”，这使得它在结构上不同于截至 2026 年 2 月受测的所有其他模型。这使得将底层模型的性能与所有其他受测模型的各自结果进行直接比较变得困难。[^4] l #### 模型访问： 2026 年 1 月，**grok-4.1-Thinking** 和 **grok-4** 均从作者个人的 SuperGrok 账户访问；2026 年 2 月，**grok.4.20** 以相同方式访问。为了禁用 Memory（记忆）和 custom instructions（自定义指令）功能，每次对话均为临时对话。 ### Moonshot AI 2026 年 1 月 28 日，**kimi-K2.5-Thinking** 在 *prinzbench* 上取得了令人瞩目的 35/99 的成绩，追平了此前由 Gemini 3 模型取得的第二名成绩。 在 2026 年 1 月该 benchmark 刚创建时，**kimi-K2-Thinking** 在 *prinzbench* 上取得了 22/99 的平平成绩。该模型的表现与 xAI 模型相似，尽管其搜索子得分略微落后于后者（4/24，而 **grok-4** 和 **grok-4.1-Thinking** 分别为 7/24 和 6/24）。 #### 模型访问： 2026 年 1 月，**kimi-K2.5-Thinking** 和 **kimi-K2-Thinking** 均通过 kimi.com（登录状态下）访问。 ### 阿里云 2026 年 1 月，**qwen3-max** 在 *prinzbench* 上取得了 25/99 的平平成绩，与 **grok-4.1-Thinking** 持平。该模型的表现明显逊于同一天由 Moonshot AI 发布的 **kimi-K2.5-Thinking**。 #### 模型访问： 2026 年 1 月，**qwen3-max** 通过 chat.qwen.ai（登录状态下）访问。 ### Meta 2026 年 4 月，**meta-muse-spark** 在 *prinzbench* 上取得了 31/99 的平平成绩，比 **gemini-3-pro** 低几分，且明显低于随后由 OpenAI 和 Google 发布的各种模型所取得的成绩。该模型的搜索得分（7/24）与 2025 年末/2026 年初发布的各种模型（如 **gemini-3-pro** 和 **kimi-k2-thinking**）所取得的搜索得分相当。 #### 模型访问： 2026 年 4 月，**meta-muse-spark** 通过 meta.ai（登录状态下）访问。 ### DeepSeek 2026 年 4 月/5 月，**deepseek-v4-pro** 在 *prinzbench* 上取得了 23/99 的低分，与 **grok-4** 和 **kimi-k2-thinking** 等老模型（均在 2025 年 6 月/7 月发布）表现相当。 #### 模型访问： 2026 年 4 月/5 月，**deepseek-v4-pro** 通过 chat.deepseek.com（登录状态下）访问。 ### Z.ai 2026 年 6 月，**glm-5.2** 在 *prinzbench* 上取得了 30/99 的低分，击败了 **deepseek-v4-pro** 等模型，但明显落后于当时当前的前沿西方模型（甚至落后于 8 个月前发布的 **gemini-3-pro** 等模型）。 #### 模型访问： **glm-5.2** 通过 chat.z.ai 访问。所有提示均在 Deep Think Max 设置下运行，并开启了 Advanced Search。 [^1]: 从 2026 年 4 月起，作者偶尔会获得对某些 OpenAI 模型的早期测试访问权限——包括与本 benchmark 相关的 **gpt-5.5-Pro** 和 **gpt-5.5-Thinking**。作者未曾接受，也无意接受来自 OpenAI 或任何其他实验室的任何报酬来制作此 benchmark。OpenAI 或任何其他实验室均未获得对 *prinzbench* 中任何问题的访问权限，也未获得任何可能有助于此类实验室训练其模型以提高在 *prinzbench* 上成功率的类似问题的访问权限。 [^2]: 现有 LLM 的训练数据中并没有很好地体现美国法律的这一特定细分领域，正如包括 Anthropic 的 Opus 4.5 和 Sonnet 4.5，以及 Moonshot 和 xAI 发布的模型在内的几个前沿模型在 *prinzbench* 上取得的相当糟糕的得分所证明的那样。 [^3]: 例如，在 [ARC-AGI-2](https://arcprize.org/leaderboard) 上，**gpt-5.4-Pro** 运行每个任务的成本为 16.41 美元——显著高于迄今为止在 *prinzbench* 上测试的其他模型的运行成本。作为对比，**gemini-3.1-pro** 每个任务的成本为 0.962 美元，而 **gpt-5.4 (xhigh)** 每个任务的成本为 1.52 美元。 [^4]: 作为一点比较参考，对 **gemini-3.1-pro** 采取“三次结果取最优”的方法将在 *prinzbench* 上获得 63/99 的得分；采用“四次结果取最优”的方法可能会获得更高的得分。

标签：DLL 劫持, 人工智能, 信息检索, 大语言模型, 法律分析, 用户模式Hook绕过, 防御加固