injaneity/pi-computer-use

# pi-computer-use

`pi-computer-use` 让 AI 代理能够在 macOS 和 Windows 上使用桌面应用。 macOS 助手程序需要 macOS 14 或更高版本。 代理可以查看应用窗口，理解其中的按钮和文本，并执行点击、输入、滚动以及等待状态改变等操作。当代理需要与普通的桌面应用而不是 API、终端命令或文件进行交互时，这非常有用。 刚接触 computer use？请从这里开始：[等等，computer use 到底是什么？](https://zanechee.dev/what-exactly-is-computer-use/) ## 这个包的功能 这是一个 Pi 扩展。安装后，Pi 代理将获得以下工具： - 查找打开的应用和窗口 - 观察窗口中的可见内容 - 在可见界面中搜索文本、按钮和控件 - 更详细地检查界面的各个部分 - 点击、输入、滚动和按下 UI 控件 - 等待 UI 发生变化 简而言之：它为代理提供了一种可控的操作桌面软件的方式。 ## 这个包不包含什么 `pi-computer-use` 不能替代应用 API 或 MCP 服务器。如果某个应用有可靠的直接集成方式，请优先使用它。 当唯一可用的界面是屏幕上的应用时，computer use 才最有用。 ## 安装 ``` pi install npm:@injaneity/pi-computer-use ``` 启动 Pi 并完成平台设置流程。 在 macOS 上，请向以下程序授予权限： ``` /Applications/pi-computer-use.app ``` 所需的 macOS 权限： - 辅助功能 (Accessibility) - 屏幕录制，在较新的 macOS 版本中显示为屏幕与系统音频录制 macOS 的设置流程会首先注册助手程序，因此它应该已经出现在两个设置面板中。启用开关并选择重新检查。 在 Windows 上，请使用交互式桌面会话。Windows 支持使用平台辅助功能 API，不使用 macOS 助手应用或 TCC 权限流程。 在 Pi 中使用 `/computer-use` 可显示当前的活动配置及其来源。 ## 主要工具 - `find_roots` - `observe_ui` - `search_ui` - `expand_ui` - `inspect_ui` - `act_ui` - `read_text` - `wait_for` 完整的工具参考请查阅 [docs/usage.md](./docs/usage.md)。 ## 文档 - [使用说明](./docs/usage.md) - [架构](./docs/architecture.md) - [配置](./docs/configuration.md) - [开发](./docs/development.md) - [故障排除](./docs/troubleshooting.md) - [贡献指南](./CONTRIBUTING.md) ## 开发状态 该架构以不可变的、基于状态范围的观察为中心。桌面界面和 CDP 页面形成了一个多根森林；渐进式大纲查询保持缓存状态，而实时工作则按物理资源进行排序，以便独立的根节点可以并行运行。`act_ui` 接受一个或多个意图步骤，在依赖性输入中保持焦点，验证交付结果，安全地进行恢复，存储一个完整的后继状态，并在身份置信度允许时返回紧凑的 diff。诸如 `screenshot`、`click`、`set_text` 和 `computer_actions` 等较旧的工具已不再是公共扩展界面的一部分。 ## 许可证 MIT

标签：MITM代理, RPA, UI自动化, 人工智能, 暗色界面, 桌面自动化, 用户模式Hook绕过, 自动化攻击