microsoft/skill-recorder

# Skill Recorder **只需录制一次您执行任务的过​​程，即可将其转化为您的 AI agent 可以重复执行的技能。** Skill Recorder 会捕获您屏幕上的真实工作会话：包括点击操作、应用程序和窗口切换、您访问的页面，以及（如果您需要）您的语音旁白。然后，它会使用 **GitHub Copilot CLI** 将*您的实际操作*重构为清晰的**意图以及有序的操作步骤列表**。接下来，只需一步即可将这次单次运行转化为 agent 可以重复使用的内容： - **技能（Skill）**：一个 agent 可以按需运行的 `SKILL.md` 流程，或者 - **自动化（Automation）**：在特定时间表或触发条件下运行的相同流程。 这两者都倾向于使用 agent 的**原生工具**（如 `gh` CLI 或 `web_fetch`），而不是重放 UI 点击操作，并且会从您提供的一个示例中进行泛化，因此，录制您提交*一个*表单的过程就可以教会 agent 提交*所有*表单。

  

## 工作原理 1. 🔴 **录制。** 点击录制（或在任何地方按下 `⌘⇧R` / `Ctrl+Shift+R`），然后执行您的任务。Skill Recorder 会在后台本地捕获您的屏幕和活动。 2. 🎛️ **控制。** 录制过程中，一个始终置顶的小型控制栏会显示捕获和麦克风状态。您可以随时静音、取消静音或切换麦克风，然后完成录制；如果本次录制不理想，也可以将其丢弃（需确认）。 3. 🧠 **分析。** 点击分析，GitHub Copilot 会重构出一个总体意图和有序的操作步骤列表。您可以对其进行审查和编辑，直到满意为止。 4. ✨ **创建。** 基于通过审查的分析结果，生成可重复使用的**技能**和/或计划执行的**自动化**。 ## 开始使用 Skill Recorder 以**源代码发布**的形式提供：只需一条命令即可下载指定版本的 Node.js 运行时，在您的机器上构建确切的发布提交，并添加一个您可以随时重新启动的 **Skill Recorder (Source)** 应用程序。不会进行任何全局安装。您需要一个具有 **Copilot 访问权限** 的 GitHub 账户；Copilot CLI 已随应用程序一起提供。 macOS 是主要的目标平台。同时也支持 Windows 11（x64 和 ARM64）（详见 [`WINDOWS-VALIDATION.md`](WINDOWS-VALIDATION.md)）。 ### 安装说明 打开 **[最新版本](https://github.com/microsoft/skill-recorder/releases/latest)** 并复制适用于您平台的命令。每个版本都会锁定一个确切的提交，因此实际的命令看起来类似于下面的模式，只是会将 `<40-character-release-commit>` 替换为实际值。 **macOS / Ubuntu** ``` commit="<40-character-release-commit>"; curl -fsSL "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.sh" | SKILL_RECORDER_COMMIT="$commit" bash ``` 该提交锁定了下载的脚本及其构建的源代码。为了让应用程序在终端关闭后仍能继续运行，请在管道符后添加 `SKILL_RECORDER_DETACHED=1`： ``` commit="<40-character-release-commit>"; curl -fsSL "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.sh" | SKILL_RECORDER_COMMIT="$commit" SKILL_RECORDER_DETACHED=1 bash ``` 在 macOS 上，这会在 `~/Applications` 中添加一个 **Skill Recorder (Source)** 应用程序（可以从 Spotlight、Launchpad 或 Dock 中重新启动）。在 Ubuntu 上，它会添加一个对应的应用程序条目。 **Windows (PowerShell)** ``` $commit="<40-character-release-commit>"; $env:SKILL_RECORDER_COMMIT=$commit; irm "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.ps1" | iex ``` 这会在您的桌面和开始菜单中添加 **Skill Recorder (Source)** 快捷方式。 ### 然后开始录制 1. **授予屏幕录制权限。** 首次启动时，macOS 会要求授予屏幕录制权限；授予该权限后，您就可以开始录制了。 2. **录制、分析、创建。** 执行您的任务，然后进行分析。在您第一次进行分析时，如果您尚未登录，Skill Recorder 会提示您 **登录 Copilot**。 要在运行前检查脚本、设置安装选项、更新或卸载，请参阅 [`INSTALL.md`](INSTALL.md)。 *以下内容适用于想要了解详细信息或想要修改代码的人。* ## 捕获内容 录制、存储、帧提取以及可选的旁白转录都是在**您的计算机上本地**完成的；在录制期间不会有任何数据离开您的设备。只有当您选择**分析**时，Skill Recorder 才会将事件时间线（窗口/文档标题、URL 和剪贴板预览）、提取的屏幕图像和旁白文本发送到 GitHub 云端供 Copilot 处理。 应用程序内的“记录您的屏幕和活动”面板详细说明了收集的具体内容： - **窗口跟踪：** 活动-app / 窗口切换。 - **浏览器 URL：** 您当前所在的页面（macOS）。 - **屏幕视频：** 由 Chromium 录制；仅在屏幕发生变化或心跳检测时保留低频率的快照。 - **剪贴板：** 复制文本的简短预览，用于将各个步骤关联起来。 - **旁白** *（可选）*：语音评论，在**设备上**使用 Whisper 支持的 99 种语言中的任何一种进行转录（首次使用时需一次性下载约 252 MB 的模型）。 ## 源代码开发 需要 **Node.js 24**。在检出发布版本后： ``` npm ci npm run compliance:licenses npm run dev ``` `npm run dev` 会启动 Vite 并通过热重载启动 Electron 应用；`⌘⇧R` (macOS) / `Ctrl+Shift+R` (Windows) 可以在任何地方切换录制状态。完整的说明、构建和 `dist` 脚本，以及本地源代码构建和可重分发包之间的许可界限详见 [`INSTALL.md`](INSTALL.md)。修改版本、依赖项、资产或发布的管理员必须遵循 [`RELEASING.md`](RELEASING.md)。 ## 评估 Copilot **describer** 和 **builders** 包含一个基于 fixture 的评估套件；详见 [`evals/README.md`](evals/README.md)。 ``` npm run eval # score the describer against synthetic recordings npm run eval:builder # score the skill/automation generalization ``` ## 文档 - **[INSTALL.md](INSTALL.md)：** 安装选项、检查优先的安装方式、更新、卸载以及手动开发者设置。 - **[RELEASING.md](RELEASING.md)：** 管理员发布手册。 - **[evals/README.md](evals/README.md)：** describer / builder 评估测试工具。 - **[THIRD-PARTY-NOTICES.md](THIRD-PARTY-NOTICES.md)：** 捆绑依赖项的许可证。 ## 安全 请不要通过公开的 GitHub Issues 报告安全漏洞。有关 Microsoft 的协调披露流程和报告渠道，请参阅 [`SECURITY.md`](SECURITY.md)。 ## 支持 请通过 **[GitHub Issues](https://github.com/microsoft/skill-recorder/issues)** 提交 Bug 和功能请求（请先搜索现有问题以避免重复）。支持仅限于 [`SUPPORT.md`](SUPPORT.md) 中描述的资源。 ## 许可证 [MIT](LICENSE) ## 商标 本项目可能包含项目、产品或服务的商标或徽标。Microsoft 商标或徽标的授权使用必须遵循 [Microsoft 商标与品牌指南](https://www.microsoft.com/legal/intellectualproperty/trademarks/usage/general)。在本项目的修改版本中使用 Microsoft 商标或徽标不得引起混淆或暗示 Microsoft 的赞助。任何对第三方商标或徽标的使用均受该第三方政策的约束。

标签：AI代理, AI助手, MITM代理, RPA, SOC Prime, 任务自动化, 工作流, 工作流自动化, 开发工具, 自动化攻击