SharpAI/DeepCamera
GitHub: SharpAI/DeepCamera
开源 AI 摄像头技能平台,将 VLM 场景理解能力注入传统 CCTV/NVR 监控系统,实现本地隐私友好的智能安防。
Stars: 2344 | Forks: 382
## 🧩 技能目录
每个技能都是一个独立的模块,拥有自己的模型、参数和[通信协议](docs/skill-development.md)。请参阅[技能开发指南](docs/skill-development.md)和[平台参数](docs/skill-params.md)来构建您自己的技能。
| 类别 | 技能 | 功能说明 |
|----------|-------|--------------|
| **Detection (检测)** | [`yolo-detection-2026`](skills/detection/yolo-detection-2026/) | 实时 80+ 类目标检测 |
| | [`dinov3-grounding`](skills/detection/dinov3-grounding/) | 开放词汇检测 —— 描述即可查找目标 |
| | [`person-recognition`](skills/detection/person-recognition/) | 跨摄像头重识别个体 |
| **Analysis (分析)** | [`vlm-scene-analysis`](skills/analysis/vlm-scene-analysis/) | 描述录像片段中发生的事件 |
| | [`sam2-segmentation`](skills/analysis/sam2-segmentation/) | 点击即可分割,生成像素级掩码 |
| **Transformation (转换)** | [`depth-estimation`](skills/transformation/depth-estimation/) | 基于 Depth Anything v2 的单目深度图 |
| **Annotation (标注)** | [`dataset-annotation`](skills/annotation/dataset-annotation/) | AI 辅助标注 → 导出为 COCO 格式 |
| **Camera Providers (摄像头提供商)** | [`eufy`](skills/camera-providers/eufy/) · [`reolink`](skills/camera-providers/reolink/) · [`tapo`](skills/camera-providers/tapo/) | 通过 RTSP 直接集成摄像头 |
| **Streaming (流媒体)** | [`go2rtc-cameras`](skills/streaming/go2rtc-cameras/) | RTSP → WebRTC 实时预览 |
| **Channels (渠道)** | [`matrix`](skills/channels/matrix/) · [`line`](skills/channels/line/) · [`signal`](skills/channels/signal/) | Clawdbot 代理的消息渠道 |
| **Automation (自动化)** | [`mqtt`](skills/automation/mqtt/) · [`webhook`](skills/automation/webhook/) · [`ha-trigger`](skills/automation/ha-trigger/) | 事件驱动的自动化触发器 |
| **Integrations (集成)** | [`homeassistant-bridge`](skills/integrations/homeassistant-bridge/) | HA 摄像头输入 ↔ 检测结果输出 |
### 🗺️ 路线图
- [x] **技能架构** —— 所有能力均采用可插拔的 `SKILL.md` 接口
- [x] **完整技能目录** —— 涵盖 9 个类别的 18 项技能及可用脚本
- [ ] **Skill Store UI** —— 从 Aegis 浏览、安装和配置技能
- [ ] **自定义技能打包** —— 通过 GitHub 提供社区贡献的技能
- [ ] **GPU 优化容器** —— 每个技能支持一键 Docker 部署
## 🚀 通过 [SharpAI Aegis](https://www.sharpai.org) 快速入门
这是运行 DeepCamera AI 技能最简单的方式。Aegis 连接一切 —— 摄像头、模型、技能和您。
- 📷 **几秒钟内连接摄像头** —— 添加 RTSP/ONVIF 摄像头、网络摄像头或 iPhone 摄像头进行快速测试
- 🤖 **内置本地 LLM 和 VLM** —— 包含 llama-server,无需单独设置
- 📦 **一键技能部署** —— 从目录安装技能,并提供 AI 辅助故障排除
- 🔽 **一键 HuggingFace 下载** —— 浏览并运行 Qwen、DeepSeek、SmolVLM、LLaVA、MiniCPM-V
- 📊 **为您的机器寻找最佳 VLM** —— 使用 HomeSec-Bench 在您自己的硬件上对模型进行基准测试
- 💬 **与您的守护助手对话** —— 通过 Telegram、Discord 或 Slack。询问发生了什么,告诉它关注什么,获取带有视频画面的 AI 推理回答。
[**📦 下载 SharpAI Aegis →**](https://www.sharpai.org)
|
Run Local VLMs from HuggingFace — Even on Mac Mini 8GB
Download and run SmolVLM2, Qwen-VL, LLaVA, MiniCPM-V locally. Your AI security camera agent sees through these eyes.
|
Chat with Your AI Camera Agent
"Who was at the door?" — Your agent searches footage, reasons about what happened, and answers with timestamps and clips.
|
## 📊 HomeSec-Bench — 您的本地 AI 有多安全?
**HomeSec-Bench** 是一个包含 131 项测试的安全基准,用于衡量您的本地 AI 作为安保人员的表现。它测试关键能力:能在雾中检测到人吗?能区分入侵和快递吗?能抵抗提示注入(Prompt Injection)吗?能在凌晨 3 点正确路由警报吗?
在您自己的硬件上运行它,以确切了解您的设置水平。
| 领域 | 测试数 | 关键点 |
|------|-------|-----------------|
| 场景理解 | 35 | 雾、雨、夜间红外、强光眩光下的人员检测 |
| 安全分类 | 12 | 区分入侵者和浣熊 |
| 工具使用与推理 | 16 | 正确的工具调用及准确的参数 |
| 提示注入抵抗 | 4 | 试图禁用您守护助手的对抗性攻击 |
| 隐私合规 | 3 | PII 泄露预防,拒绝非法监控 |
| 警报路由 | 5 | 正确的消息、正确的渠道、正确的时间 |
### 结果:本地 vs 云端 vs 混合

在 **Mac M1 Mini 8GB** 上运行:本地 Qwen3.5-4B 得分 **39/54** (72%),云端 GPT-5.2 得分 **46/48** (96%),混合配置达到 **53/54** (98%)。所有 35 张 VLM 测试图像均为 **AI 生成** —— 无真实画面,完全符合隐私合规。
📄 [阅读论文](docs/paper/home-security-benchmark.pdf) · 🔬 [亲自运行](skills/analysis/home-security-benchmark/) · 📋 [测试场景](skills/analysis/home-security-benchmark/fixtures/)
## 📦 更多应用
旧版应用 (SharpAI-Hub CLI)
这些应用使用基于 Docker 的 `sharpai-cli` 工作流。
若要获得现代体验,请使用 [SharpAI Aegis](https://www.sharpai.org)。
| 应用 | CLI 命令 | 平台 |
|-------------|-------------|-----------|
| 人员识别 (ReID) | `sharpai-cli yolov7_reid start` | Jetson/Windows/Linux/macOS |
| 人员检测器 | `sharpai-cli yolov7_person_detector start` | Jetson/Windows/Linux/macOS |
| 人脸识别 | `sharpai-cli deepcamera start` | Jetson/Windows/Linux/macOS |
| 本地人脸识别 | `sharpai-cli local_deepcamera start` | Windows/Linux/macOS |
| 屏幕监控 | `sharpai-cli screen_monitor start` | Windows/Linux/macOS |
| 停车场监控 | `sharpai-cli yoloparking start` | Jetson AGX |
| 跌倒检测 | `sharpai-cli falldetection start` | Jetson AGX |
📖 [详细设置指南 →](docs/legacy-applications.md)
#### 已测试设备
- **Edge (边缘设备)**: Jetson Nano, Xavier AGX, Raspberry Pi 4/8GB
- **Desktop (桌面端)**: macOS, Windows 11, Ubuntu 20.04
- **MCU**: ESP32 CAM, ESP32-S3-Eye
#### 已测试摄像头
- RTSP: DaHua, Lorex, Amcrest
- Cloud (云端): Blink, Nest (通过 Home Assistant)
- Mobile (移动端): IP Camera Lite (iOS)
🏗️ 架构

[完整功能列表 →](docs/DeepCamera_Features.md)
## 🤝 支持与社区
- 💬 [Slack 社区](https://join.slack.com/t/sharpai/shared_invite/zt-1nt1g0dkg-navTKx6REgeq5L3eoC1Pqg) —— 帮助、讨论和摄像头设置协助
- 🐛 [GitHub Issues](https://github.com/SharpAI/DeepCamera/issues) —— 技术支持和错误报告
- 🏢 [商业支持](https://join.slack.com/t/sharpai/shared_invite/zt-1nt1g0dkg-navTKx6REgeq5L3eoC1Pqg) —— Pipeline 优化、自定义模型、边缘部署
## [贡献](Contributions.md)
标签:AI PC, Anthropic, Apex, CCTV, CIS基准, DeepSeek, Discord集成, LLaVA, LLM, MacMini, MiniMax, NVR, OpenAI, Python, Qwen, Slack集成, SmolVLM, Telegram机器人, Unmanaged PE, VLM, YOLO, 人工智能, 人脸识别, 内存规避, 安防代理, 家庭安防, 开源, 异常检测, 摄像头监控, 无后门, 智能安防, 智能家居, 本地部署, 机器学习, 熵值分析, 用户模式Hook绕过, 目标检测, 网络安全, 自定义脚本, 行人重识别, 视觉语言模型, 视频分析, 请求拦截, 跌倒检测, 软件物料清单, 边缘计算, 逆向工具, 隐私保护