自动化您的 AI agent 评估流程的 AI 助手。

## 目录 - [概述](#overview) - [环境要求](#requirements) - [快速开始](#quick-start) - [预期效果](#what-to-expect-from-evalkit) - [参考](#reference) - [致谢](#acknowledgements) ## 概述 **Agent-EvalKit** 可以自动化您的 AI agent 复杂的评估流程。 **核心功能：** ``` 1. Create evaluation plan by analyzing agent and user requirements 2. Generate test cases for evaluation 3. Add tracing instrumentation to your agent (Optional) 4. Run your agent and collect execution traces 5. Write and run evaluation code to assess performance 6. Generate report with agent improvement recommendations ``` ## 环境要求 **系统：** Linux/macOS • [Python 3.11+](https://www.python.org/downloads/) • [uv](https://docs.astral.sh/uv/) • [Git](https://git-scm.com/downloads) **AI 助手：** 目前支持 [Kiro CLI](https://kiro.dev/cli/)、[Claude Code](https://www.anthropic.com/claude-code) 和 [Kilo Code](https://kilocode.ai)。 ## 快速开始 ### 1. 安装 EvalKit ``` # 安装一次，到处使用 uv tool install evalkit --from git+https://github.com/awslabs/Agent-EvalKit.git # 以后升级 uv tool install evalkit --force --from git+https://github.com/awslabs/Agent-EvalKit.git ``` ### 2. 初始化评估项目 ``` # 创建专用的评估项目 evalkit init my-agent-evaluation cd my-agent-evaluation # 将你的 agent 文件夹复制到评估项目中 cp -r /path/to/your/agent-folder . # 这确保了在整个评估过程中路径解析和 artifact 管理的可靠性 # 启动你的 AI 助手（以 Claude Code 为例显示） claude # 出现提示时，同意使用 Context7 MCP 访问文档 # 输入 /evalkit 查看可用命令 # 注意：对于 Kilo Code 和 Kiro CLI，将显示详细的设置说明 # 在运行 'evalkit init my-agent-evaluation' 之后 ``` ### 3. 评估您的 Agent **选项 A：引导式工作流（推荐首次使用的用户）** ``` /evalkit.quick # user input required # 在终端中。示例：/evalkit.quick 评估位于 ./search_agent 的搜索 agent 的最终响应质量 # 此命令将引导你完成整个评估过程 ``` **选项 B：独立命令（适用于有经验的用户）** **步骤 1：** 分析 agent 并设计评估策略 ``` /evalkit.plan # user input required # 示例：/evalkit.plan 评估位于 ./search_agent 的搜索 agent 的最终响应质量 ``` **步骤 2：** 生成用于评估的测试用例 ``` /evalkit.data # user input optional # 示例：/evalkit.data 关注边缘情况 ``` **步骤 3：** 为您的 agent 添加 tracing ``` /evalkit.trace # user input optional ``` **步骤 7：** 运行 agent 并收集 traces ``` /evalkit.run_agent # user input optional ``` **步骤 5：** 针对 traces 编写并执行评估代码 ``` /evalkit.eval # user input optional ``` **步骤 6：** 分析结果并提供改进建议 ``` /evalkit.report # user input optional ``` ## EvalKit 的预期效果 EvalKit 可帮助您快速生成评估 pipeline，您可以根据特定需求进一步对其进行优化。 ### 接下来您可以做什么 - **审查代码**：检查它是否对您的 agent 达到了预期效果 - **根据您的需求进行定制**：针对您的特定需求调整评估 pipeline ## 参考 ### CLI 命令 | 命令 | 描述 | | ----------------------------- | --------------------------------- | | `evalkit init ` | 初始化新的评估项目 | | `evalkit check` | 检查系统前置条件 | ### EvalKit 命令（在 `evalkit init` 之后可用） | 命令 | 描述 | | -------------------- | ------------------------------------------------------- | | `/evalkit.quick` | 分步评估指南 | | `/evalkit.plan` | 分析 agent 并设计评估策略 | | `/evalkit.data` | 生成用于评估的测试用例 | | `/evalkit.trace` | 为您的 agent 添加 tracing | | `/evalkit.run_agent` | 运行 agent 并收集 traces | | `/evalkit.eval` | 针对 traces 编写并执行评估代码 | | `/evalkit.report` | 分析结果并提供改进建议 | ## 致谢 Agent-EvalKit 源于我们的自主评估 Agent 项目。受到 [spec-kit](https://github.com/github/spec-kit) 的启发，我们将其打包为兼容多种编码助手的工具包。

标签：AI智能体, AI评估, SOC Prime, 开发工具, 测试用例生成, 逆向工具