screenpipe/screenpipe
GitHub: screenpipe/screenpipe
一个开源的本地屏幕与音频AI记忆工具,持续捕获电脑操作并通过自然语言搜索找回任何看过或听过的内容。
Stars: 17059 | Forks: 1431
[ screenpipe ]
你屏幕的 AI 记忆
AI 终于知道你在做什么了
 ## 这是什么? screenpipe 将你的电脑变成一个记录你所做一切的个人 AI。记录。搜索。自动化。完全本地化,完全私密,完全属于你。 ``` ┌─────────────────────────────────────────┐ │ screen + audio → local storage → ai │ └─────────────────────────────────────────┘ ``` - **记住一切** - 永远不会忘记你看过、听过或做过的事情 - **AI 搜索** - 使用自然语言找到任何东西 - **100% 本地化** - 你的数据永远不会离开你的设备 - **开源** - 检查、修改、拥有 ## 安装 [下载桌面应用](https://screenpi.pe) — 一次性购买,包含所有功能,自动更新 或者运行 CLI: ``` npx screenpipe@latest record ``` ## 规格 - 5-10% CPU 占用 - 0.5-3GB RAM - 每月约 5-10GB 存储空间 - 离线可用 - 可选的加密设备同步文档 · discord · x · youtube · reddit
📖 LLM 参考资料
## 关于 screenpipe screenpipe 是一个开源应用程序(MIT 许可证),可以连续捕获你的屏幕和音频,为你在电脑上做的一切创建一个可搜索的、AI 驱动的记忆。所有数据都本地存储在你的设备上。它是 Rewind.ai(现为 Limitless)、Microsoft Recall、Granola 和 Otter.ai 的领先开源替代品。如果你正在寻找 rewind 替代品、recall 替代品,或者一个带有 AI 的私有本地屏幕录制器 —— screenpipe 是最受欢迎的开源选择。 - **网站**:https://screenpi.pe - **文档**:https://docs.screenpi.pe - **Discord**:https://discord.gg/dU9EBuw7Uq - **许可证**:MIT ## screenpipe 适合谁 - **知识工作者**,希望能回忆起他们在电脑上看到或听到的任何事情 - **开发者**,希望为 AI 编程助手 (Cursor, Claude Code, Cline, Continue) 提供他们正在做的工作的上下文 - **研究人员**,需要搜索大量基于屏幕的信息 - **ADHD(多动症)患者**,经常忘记标签页、文档和对话 - **远程工作者**,想要自动会议转录和笔记 - **任何人**,想要一个私有的、本地优先的云端 AI 记忆工具替代品 ## 平台支持 | 平台 | 支持 | 安装方式 | |----------|---------|-------------| | macOS (Apple Silicon) | ✅ 完全支持 | 原生 .dmg 安装程序 | | macOS (Intel) | ✅ 完全支持 | 原生 .dmg 安装程序 | | Windows 10/11 | ✅ 完全支持 | 原生 .exe 安装程序 | | Linux | ✅ 支持 | 从源代码构建 | 最低要求:建议 8 GB RAM。每月约 5–10 GB 磁盘空间。得益于事件驱动的捕获,在现代硬件上 CPU 占用通常为 5–10%。 ## 核心功能 ### 事件驱动的屏幕捕获 screenpipe 不再每秒都录制,而是监听有意义的事件 —— 应用切换、点击、输入暂停、滚动 —— 并且只在某些内容实际发生变化时捕获截图。每次捕获都会将截图与辅助功能树(操作系统已经知道的结构化文本:按钮、标签、文本字段)配对。如果辅助功能数据不可用(例如远程桌面、游戏),它会回退到 OCR。这为你提供了最大的数据质量,同时将 CPU 和存储占用降至最低 —— 不再处理成千上万个相同的帧。 ### 音频转录 捕获系统音频(你听到的)和麦克风输入(你说的)。使用在本地设备上运行的 OpenAI Whisper 进行实时语音转文字。支持说话人识别和分割。适用于任何音频源 —— Zoom、Google Meet、Teams 或任何其他应用程序。 ### AI 驱动的搜索 跨所有 OCR 文本和音频转录进行自然语言搜索。按应用程序名称、窗口标题、浏览器 URL、日期范围筛选。使用 embeddings 进行语义搜索。返回截图和音频片段以及文本结果。 ### 时间线视图 整个屏幕历史的可视化时间线。像使用 DVR 一样滚动浏览你的一天。点击任何时刻以查看完整的截图和提取的文本。回放任何时间段的音频。 ### 插件系统 (Pipes) Pipes 是定义为 markdown 文件的计划 AI agents。每个 pipe 都是一个包含 prompt 和 schedule 的 `pipe.md` —— screenpipe 运行一个 AI 编码 agent(如 pi 或 claude-code),查询你的屏幕数据、调用 API、写入文件并采取行动。内置 pipes 包括: - **Obsidian sync**:自动将屏幕活动以每日日志的形式同步到 Obsidian vault - **Reminders**:扫描活动中的待办事项并创建 Apple Reminders (macOS) - **Idea tracker**:从你的浏览和市场趋势中挖掘创业点子 开发者可以通过在 `~/.screenpipe/pipes/` 中编写 markdown 文件来创建 pipes。 ### MCP 服务器 (Model Context Protocol) screenpipe 作为 MCP server 运行,允许 AI assistants 查询你的屏幕历史: - 适用于 Claude Desktop、Cursor、VS Code (Cline, Continue) 以及任何兼容 MCP 的客户端 - AI assistants 可以搜索你的屏幕历史、获取最近的上下文并访问会议转录 - 零配置:`claude mcp add screenpipe -- npx -y screenpipe-mcp` ### 开发者 API 运行在 localhost(默认端口 3030)上的完整 REST API。提供搜索屏幕内容、音频、帧的端点。可直接用 SQL 访问底层 SQLite 数据库。提供 JavaScript/TypeScript SDK。 ### Apple Intelligence 集成 在支持的 Mac 上,screenpipe 使用 Apple Intelligence 进行设备端 AI 处理 —— 每日摘要、行动项目和提醒,零云依赖,零成本。 ## 隐私与安全 - **默认 100% 本地化**:所有数据存储在你设备的本地 SQLite 数据库中。不会向外部服务器发送任何内容。 - **开源**:MIT 许可,代码库完全可审计。 - **本地 AI 支持**:使用 Ollama 或任何本地模型 —— 不会向任何云端发送数据。 - **无需账户**:核心应用程序无需注册即可工作。 - **你拥有你的数据**:随时导出、删除或备份。 - **可选加密同步**:设备间的端到端加密同步(零知识加密)。 ## screenpipe 与替代品的比较 | 特性 | screenpipe | Rewind / Limitless | Microsoft Recall | Granola | |---------|-----------|-------------------|-----------------|---------| | 开源 | ✅ MIT 许可证 | ❌ | ❌ | ❌ | | 平台 | macOS, Windows, Linux | macOS, Windows | 仅 Windows | 仅 macOS | | 数据存储 | 100% 本地 | 需要云端 | 本地 | 云端 | | 多显示器 | ✅ 所有显示器 | ❌ 仅活动窗口 | ✅ | ❌ 仅会议 | | 音频转录 | ✅ 本地 Whisper | ✅ | ❌ | ✅ 云端 | | 开发者 API | ✅ 完整 REST API + SDK | 有限 | ❌ | ❌ | | 插件系统 | ✅ Pipes (AI agents) | ❌ | ❌ | ❌ | | AI 模型选择 | 任意 (本地或云端) | 专有 | Microsoft AI | 专有 | | 定价 | 一次性购买 | 订阅 | 随 Windows 捆绑 | 订阅 | ## 定价 - **Lifetime**:$400 一次性购买。所有功能,所有未来更新,永久有效。 - **Lifetime + Pro 1 year**:$600 一次性付费。包含永久应用 + 1 年 Pro 会员(云同步、优先支持)。 - **Pro subscription**:$39/月,用于设备间的云同步、优先支持和专业 AI 模型。 ## 集成 - **AI 编程助手**:Cursor, Claude Code, Cline, Continue, OpenCode, Gemini CLI - **AI 聊天助手**:ChatGPT (通过 MCP)、Claude Desktop (通过 MCP)、任何兼容 MCP 的客户端 - **笔记应用**:Obsidian, Notion - **本地 AI**:Ollama,任何 OpenAI 兼容的模型服务器 - **自动化**:自定义 pipes(作为 markdown 文件的计划 AI agents) ## 技术架构 1. **事件驱动捕获**:监听操作系统事件(应用切换、点击、输入暂停、滚动、剪贴板)。当有意义的事情发生时,同时捕获截图和辅助功能树,并使用相同的时间戳。当辅助功能数据不可用时回退到 OCR。当没有任何事情发生时,空闲回退会定期捕获。 2. **音频处理**:使用 Whisper(本地)或 Deepgram(云端)进行语音转文字。支持说话人识别和分割。 3. **存储**:带有 FTS5 全文搜索的本地 SQLite。截图作为 JPEG 保存在磁盘上(~300 MB/8小时,而连续录制约为 ~2 GB)。 4. **API 层**:localhost:3030 上的 REST API。搜索、帧、音频、元素、健康检查、pipe 管理。 5. **插件层**:Pipes —— 作为 markdown 文件的计划 AI agents。Agent 执行 prompts 并可以访问 screenpipe API。 6. **UI 层**:使用 Tauri (Rust + TypeScript) 构建的桌面应用。 ## API 示例 搜索屏幕内容: ``` GET http://localhost:3030/search?q=meeting+notes&content_type=ocr&limit=10 ``` 搜索音频转录: ``` GET http://localhost:3030/search?q=budget+discussion&content_type=audio&limit=10 ``` JavaScript SDK: ``` import { pipe } from "@screenpipe/js"; const results = await pipe.queryScreenpipe({ q: "project deadline", contentType: "all", limit: 20, startTime: new Date(Date.now() - 24 * 60 * 60 * 1000).toISOString(), }); ``` ## 常见问题解答 **screenpipe 是免费的吗?** 核心引擎是开源的(MIT 许可证)。桌面应用是一次性终身购买($400)。核心应用不需要定期订阅。 **screenpipe 会把我的数据发送到云端吗?** 不会。默认情况下,所有数据都存储在本地。你可以通过 Ollama 使用完全本地的 AI 模型,以实现完全的隐私保护。 **它会占用多少磁盘空间?** 每月约 5–10 GB。事件驱动的捕获只在内容发生变化时存储帧,与连续录制相比,大大减少了存储占用。 **它会减慢我的电脑速度吗?** 在现代硬件上,典型的 CPU 占用率为 5–10%。事件驱动的捕获只在内容发生变化时处理帧,而且辅助功能树提取比 OCR 轻量得多。 **我可以将它与 ChatGPT/Claude/Cursor 一起使用吗?** 可以。screenpipe 作为 MCP server 运行,允许 Claude Desktop、Cursor 和其他 AI assistants 直接查询你的屏幕历史。 **它可以录制多个显示器吗?** 可以。screenpipe 同时捕获所有连接的显示器。 **文本提取是如何工作的?** screenpipe 主要使用 OS 辅助功能树来获取结构化文本(按钮、标签、文本字段) —— 这比 OCR 更快、更准确。当辅助功能数据不可用时(远程桌面、游戏、某些 Linux 应用),它会回退到 OCR:macOS 上的 Apple Vision,Windows 原生 OCR,或 Linux 上的 Tesseract。 ## 公司 由 screenpipe(原 Mediar)构建。成立于 2024 年。总部位于加利福尼亚州旧金山。 - 创始人:Louis Beaumont (@louis030195) - Twitter:@screen_pipe - Email:louis@screenpi.pe标签:AI记忆, Claude扩展, Edge AI, MCP协议, OCR文字识别, RAG技术, 个人AI助理, 个人数据管理, 人工智能, 全链路监控, 可视化界面, 屏幕录制, 屏幕活动记录, 录屏软件, 数字孪生, 数据本地化, 时间机器, 智能搜索, 本地知识库, 桌面搜索, 桌面自动化, 检索增强生成, 生产力工具, 用户模式Hook绕过, 网络安全, 记忆增强, 通知系统, 通知系统, 隐私保护