hamelsmu/evals-skills
GitHub: hamelsmu/evals-skills
为 AI 编程代理提供的一套 LLM 评估技能插件，涵盖评估审查、错误分析、合成数据生成、评判器校准等核心评估环节。
Stars: 1484 | Forks: 148
# AI 编程代理的评估技能
引导 AI 编程代理帮助您构建 LLM 评估的技能。
这些技能旨在防范我在帮助 50 多家公司并在我们的 [AI 评估课程](https://maven.com/parlance-labs/evals?promoCode=evals-info-url) 中教授学生时发现的常见错误。如果您刚接触评估，请参阅 [questions.md](questions.md) 获取关于基础知识免费资源。
## 评估新手？从这里开始
如果您刚接触评估，请从 `eval-audit` 技能开始。向您的编程代理提供以下指令：
审查并不是一个完整的解决方案，但它会发现我们在评估中常见的诸多问题。它还会推荐其他可用的技能来解决这些问题。
## 安装
在 Claude Code 中，运行以下两个命令：
```
# Step 1: 注册 plugin repository
/plugin marketplace add hamelsmu/evals-skills
# Step 2: 安装 plugin
/plugin install evals-skills@hamelsmu-evals-skills
```
升级：
```
/plugin update evals-skills@hamelsmu-evals-skills
```
安装后，重启 Claude Code。这些技能将显示为 `/evals-skills:`。
## 安装（npx skills）
如果您使用开源的 Skills CLI，请使用以下命令从此仓库安装：
```
npx skills add https://github.com/hamelsmu/evals-skills
```
仅安装一个技能：
```
npx skills add https://github.com/hamelsmu/evals-skills --skill eval-audit
```
检查更新：
```
npx skills check
npx skills update
```
## 可用技能
| 技能 | 功能 |
|-------|-------------|
| eval-audit | 审查评估 pipeline 并按严重程度优先级呈现问题 |
| error-analysis | 引导用户阅读 trace 并对失败进行分类 |
| generate-synthetic-data | 使用基于维度的元组生成创建多样化的合成测试输入 |
| write-judge-prompt | 为主观质量标准设计 LLM-as-Judge 评估器 |
| validate-evaluator | 使用数据分割、TPR/TNR 和偏差校正，根据人类标签校准 LLM 裁决者 |
| evaluate-rag | 评估 RAG pipeline 中的检索和生成质量 |
| build-review-interface | 为人工 trace 审查构建自定义标注界面 |
使用 `/evals-skills:skill-name` 调用技能，例如 `/evals-skills:error-analysis`。
## 编写您自己的技能
这些技能只是一个起点，仅涵盖了适用于各类项目的常见错误。基于您的技术栈、您的领域以及您的数据所构建的技能将超越它们的表现。请从这里开始，然后编写您自己的技能。
[meta-skill](meta-skill.md) 可以帮助您构建定制化的技能。
## 这些技能之外的内容
这些技能处理的是适用于各类项目的评估工作环节。而许多其他流程并不适用：生产环境监控、CI/CD 集成、数据分析等等。[课程](https://maven.com/parlance-labs/evals?promoCode=evals-info-url) 涵盖了所有这些内容。
标签：AI代码助手, LLM-as-Judge, SOC Prime, 人工智能, 大模型评估, 开发工具, 提示词工程, 数据可视化, 用户模式Hook绕过, 策略决策点