Abu-Sameer-66/PhantomEye

## --- title: PhantomEye emoji: 👁 colorFrom: blue colorTo: indigo sdk: docker pinned: false ## 什么是 PhantomEye？ 大多数计算机视觉项目止步于检测。一个人周围出现一个框。框消失了。什么也没有被记住。什么也没有被理解。什么决定也没有做出。 **PhantomEye 走得更远 —— 远得多。** 它是一个全栈 AI 监控智能平台，可将被动的摄像头画面转化为实时的推理引擎。十一个模块协同工作：检测每一个人、跨帧跟踪其身份、映射行为模式、审计隐私暴露、识别情绪、使用自然语言查询、检测武器，并且 —— 独一无二地 —— 运行着现有开源系统均未实现的三种全新研究算法。 完全从零开始构建。在真实数据集上进行训练。实时部署。零预加载数据。在标准 CPU 上运行。 ## 全新研究贡献 ### Threat Momentum Score (TMS v1.0) 二元的威胁检测在设计上就是错误的。一个人独自徘徊是一个微弱的信号。一个人在徘徊的同时表现出压力情绪，信号则更强。同一个人在进入限制区域时表现出快速移动和异常注视 —— 这完全就是另一种情况了。 TMS 将威胁建模为一个不断累积的值。每个行为信号都使用加权放大器模型随时间复合：当分数已经升高时，新信号贡献的比例会更大。当信号停止时，该分数会以 45 秒的半衰期衰减 —— 这模拟了真实的威胁情况是如何逐渐升级的，而不是瞬间爆发的。 ``` TMS(t) = TMS(t-1) × decay_factor + Σ(signal_i × weight_i × amplifier) where: amplifier = 1 + (TMS / 200) decay_factor = 0.5^(Δt / 45s) Signals: loitering(0.28) · stress_emotion(0.22) · rapid_movement(0.18) proximity_violation(0.15) · gaze_anomaly(0.10) · group_formation(0.07) Levels: CLEAR → LOW → MEDIUM → HIGH → CRITICAL ``` ### Behavioral DNA Fingerprint (BDF v1.0) 当对象戴着口罩、帽子或距离太远时，人脸识别就会失效。BDF 仅使用行为签名 —— 一个纯粹从运动模式中提取的 5 分量特征向量 —— 即可跨摄像头识别出同一个人。 当一个人在另一个不同的 tracking ID 下重新进入场景时，BDF 会使用余弦相似度将他们与之前的身份进行匹配。已测试：在重新进入模拟后，Person 3 以 99.99% 的相似度匹配到了 Person 1。 ``` BDF_vector = [ gait_signature, # stride rhythm histogram (10-bin) velocity_profile, # speed distribution over time (10-bin) spatial_preference, # normalized 8×8 grid heatmap of visited zones social_distance_avg, # mean distance maintained from nearby persons dwell_zone_signature # normalized 8×8 grid of stopping locations ] Similarity: cosine(BDF_a, BDF_b) Match threshold: 0.82 Min observations required: 15 frames ``` ### Social Graph Intelligence (SGI v1.0) 三名银行劫匪分批、相隔数分钟、从不同的入口进入一栋建筑。标准的监控会看到三个互不相关的人。而 SGI 能够在任何公开行动发生之前 —— 纯粹通过运动相关性 —— 检测出他们的关联。 ``` Link_strength(A, B) = proximity_score × 0.40 + pearson_velocity_correlation × 0.35 + dwell_zone_overlap × 0.25 Group detection: BFS connected-component analysis on confirmed links Alert condition: coordinated link_type within group of ≥ 2 persons ``` ## 智能模块

### 🎯 Person Detection 配置为仅识别 class-0 的 YOLOv8-nano。置信度阈值为 0.4。在标准 CPU 上返回边界框和置信度分数。无需 GPU。 ### 🔥 Behavioral Analytics 带有 IOU 匹配的自定义 ByteTrack 通过遮挡在各帧之间分配持久的 ID。NumPy 热力图累积移动密度。以秒为单位跟踪每个人的停留时间。自动徘徊警报。 ### 🕵️ OSINT Privacy Audit 上传一张人脸 —— 接收一个 0 到 100 的隐私暴露分数。使用余弦相似度将 LBPH embedding 与参考图库进行匹配。风险等级：LOW / MEDIUM / HIGH。 ### 🧠 Emotion Intelligence DeepFace pipeline 从 7 个类别中检测每张脸的年龄、性别和主导情绪。误报过滤器会拒绝小于帧面积 15% 的人脸。支持多对象。 ### 💬 NL Query Engine Groq LLaMA 3 (llama-3.1-8b-instant) 解析英语或罗马乌尔都语的监控查询。提取结构化过滤器：情绪、性别、年龄、停留时间、徘徊。首个支持罗马乌尔都语监控查询的开源系统。 ### ⚠️ Weapon Detection YOLOv8 基于 9 个类别的 714 张真实世界图像进行了自定义训练。检测到时立即触发威胁警报，并附带类别名称和置信度。

### 📊 Threat Momentum Score *(全新)* 时间复合威胁累积。6 个行为信号。复合放大器效应。45 秒衰减半衰期。5 个威胁等级。请参阅上方的研究贡献。 ### 🧬 Behavioral DNA *(全新)* 使用 5 分量行为特征向量进行与摄像头无关的人员重新识别。适用于戴口罩、帽子、低分辨率和远距离的情况。在 82% 阈值下进行余弦相似度匹配。 ### 🕸️ Social Graph Intelligence *(全新)* 仅通过运动相关性进行实时群体检测。无需先验信息。接近度 + 速度同步 + 共享停留区域。BFS 连通分量群组提取。 ### 📄 Intel Report 使用 fpdf2 一键生成机密 PDF。深色背景，绿色终端风格文本，武器威胁部分显示为红色。CLASSIFIED 标头。零服务器端存储。 ### 🔍 Deep Person Re-ID OSNet x0.25 从零开始在 Market-1501（12,936 张图像，751 个身份）上进行训练。**Rank-1: 81.7% — mAP: 58.5%.** 仅通过身体外观即可在摄像头网络中识别同一个人。 ### ⚡ System Intel 实时仪表板，显示所有活动模块、模型基准测试、API endpoint 参考和部署元数据。

## 基准测试结果 | 模块 | 模型 | 指标 | 结果 | |:---|:---|:---|:---:| | Person Detection | YOLOv8-nano | 平均置信度 | >85% | | Multi-Object Tracking | ByteTrack | ID 持久性 | 跨遮挡 | | Deep Re-ID | OSNet x0.25 | **Rank-1 准确率** | **81.7%** | | Deep Re-ID | OSNet x0.25 | **mAP** | **58.5%** | | Emotion Recognition | DeepFace | 人脸检测 | OpenCV backend | | Weapon Detection | YOLOv8 Custom | **mAP50** | **53.2%** | | Weapon Detection | YOLOv8 Custom | Handgun AP | 89.5% | | Weapon Detection | YOLOv8 Custom | Shotgun AP | 96.3% | | Weapon Detection | YOLOv8 Custom | SMG AP | 98.6% | | NL Query Engine | Groq LLaMA 3 | 语言 | 英语 + 罗马乌尔都语 | | BDF Re-ID | BDF v1.0 | 匹配相似度 | 99.99% (相似) | | TMS | TMS v1.0 | 升级状态 | CLEAR → CRITICAL | ## 功能比较 | 功能 | 典型 CV 项目 | 商业系统 | PhantomEye | |:---|:---:|:---:|:---:| | Person detection | ✅ | ✅ | ✅ YOLOv8-nano | | Persistent ID tracking | ❌ | ✅ | ✅ ByteTrack | | Behavioral heatmap | ❌ | 部分 | ✅ NumPy accumulation | | Dwell time analytics | ❌ | 部分 | ✅ 每人秒数 | | Loitering alert | ❌ | ✅ | ✅ 基于阈值 | | Deep Re-ID (无人脸) | ❌ | ✅ $$$ | ✅ OSNet 81.7% | | Emotion recognition | ❌ | 部分 | ✅ DeepFace 7 classes | | Weapon detection | ❌ | ✅ $$$ | ✅ 9-class custom | | NL query interface | ❌ | ❌ | ✅ 英语 + 罗马乌尔都语 | | OSINT privacy audit | ❌ | ❌ | ✅ 分数 0–100 | | **时间性威胁评分** | ❌ | ❌ | ✅ **TMS v1.0 (全新)** | | **行为重识别** | ❌ | ❌ | ✅ **BDF v1.0 (全新)** | | **社交群体检测** | ❌ | ❌ | ✅ **SGI v1.0 (全新)** | | 生产级 REST API | ❌ | ✅ $$$ | ✅ FastAPI OAS 3.1 | | 24/7 实时部署 | ❌ | ✅ $$$ | ✅ HuggingFace 免费 | | 开源 | ❌ | ❌ | ✅ 完全透明 | | 需要 GPU | N/A | ✅ | ❌ 仅限 CPU | ## 系统架构 ``` ┌─────────────────────────────────────────────────────┐ │ INPUT LAYER │ │ Image Upload / Video File │ └──────────────────────────┬──────────────────────────┘ │ ┌──────────────────────────▼──────────────────────────┐ │ VISION PIPELINE │ │ │ │ YOLOv8-nano ──────── Person Detection │ │ │ bbox + confidence │ │ ByteTrack ─────────── Persistent ID Tracking │ │ │ color trails + occlusion │ │ OSNet x0.25 ────────── Deep Re-ID │ │ Rank-1 81.7% │ └──────────────────────────┬──────────────────────────┘ │ ┌──────────────────────────▼──────────────────────────┐ │ INTELLIGENCE LAYER │ │ │ │ Behavioral Analytics heatmap + dwell + loitering │ │ Emotion Intelligence DeepFace age/gender/emotion │ │ Weapon Detection YOLOv8 9-class custom │ │ NL Query Engine Groq LLaMA 3 │ │ OSINT Audit LBPH embedding + gallery │ │ │ │ ── NOVEL RESEARCH ──────────────────────────────── │ │ TMS v1.0 temporal compound scoring │ │ BDF v1.0 behavioral re-ID no face │ │ SGI v1.0 implicit group detection │ └──────────────────────────┬──────────────────────────┘ │ ┌──────────────────────────▼──────────────────────────┐ │ OUTPUT LAYER │ │ FastAPI REST API OAS 3.1 + CORS │ │ Streamlit Dashboard cyberpunk UI │ │ PDF Intel Report fpdf2 classified │ └─────────────────────────────────────────────────────┘ ``` ## 实时部署 | 服务 | 平台 | URL | 状态 | |:---|:---|:---|:---:| | 交互式仪表板 | HuggingFace Spaces | [abu-sameer-66-phantomeye.hf.space](https://abu-sameer-66-phantomeye.hf.space) | 🟢 在线 | | REST API | HuggingFace (Docker) | [abu-sameer-66-phantomeye.hf.space/docs](https://abu-sameer-66-phantomeye.hf.space/docs) | 🟢 在线 | ## API 参考 **Base URL:** `https://abu-sameer-66-phantomeye.hf.space` | 方法 | Endpoint | 描述 | |:---|:---|:---| | `GET` | `/` | 系统信息 + 版本 | | `GET` | `/health` | 实时健康检查 | | `POST` | `/detect` | 图像上的人员检测 | | `POST` | `/track/video` | 视频上的多目标跟踪 | | `POST` | `/osint/audit` | 隐私暴露审计 | | `POST` | `/osint/add-to-gallery` | 将人员注册到图库 | | `GET` | `/osint/gallery` | 列出图库中的人员 | | `GET` | `/outputs` | 列出输出文件 | ``` curl -X POST "https://abu-sameer-66-phantomeye.hf.space/detect" \ -F "file=@crowd.jpg" ``` ``` { "status": "success", "total_persons": 8, "detections": [ { "id": 1, "bbox": [120, 80, 310, 420], "confidence": 0.87 }, { "id": 2, "bbox": [450, 95, 620, 430], "confidence": 0.74 } ] } ``` ## 本地设置 ``` git clone https://github.com/Abu-Sameer-66/PhantomEye.git cd PhantomEye conda create -n phantomeye python=3.10 -y conda activate phantomeye pip install -r requirements.txt ``` ``` # Streamlit dashboard — all 11 modules streamlit run app.py # FastAPI backend python api/main.py # Test individual core modules python core/threat_momentum.py python core/behavioral_dna.py python core/social_graph.py python core/detection.py python core/weapon.py ``` ## 仓库结构 ``` PhantomEye/ ├── core/ │ ├── detection.py YOLOv8 person detector │ ├── tracker.py ByteTrack multi-object tracker │ ├── analytics.py Heatmap + dwell + loitering │ ├── osint.py OSINT privacy audit │ ├── emotion.py DeepFace emotion intelligence │ ├── reid.py OSNet deep Re-ID │ ├── weapon.py YOLOv8 weapon detection │ ├── nlquery.py Groq NL query parser │ ├── reporter.py fpdf2 PDF generator │ ├── threat_momentum.py TMS v1.0 — novel algorithm │ ├── behavioral_dna.py BDF v1.0 — novel algorithm │ └── social_graph.py SGI v1.0 — novel algorithm ├── models/ │ ├── osnet_phantomeye_reid.pth │ └── weapon_detector.pt ├── api/ │ ├── main.py FastAPI backend │ └── routes/ Modular route handlers ├── app.py Streamlit dashboard — 11 modules ├── start.sh Dual-process startup (Streamlit + FastAPI) ├── Dockerfile Container deployment └── requirements.txt ``` ## 现实世界的应用 | 领域 | 使用场景 | |:---|:---| | 执法部门 | 跨摄像头嫌疑人追踪、武器检测、行为分析 | | 零售智能 | 客流热力图、排队监控、盗窃模式检测 | | 校园安全 | 未经授权的访问、人群异常、协调群体检测 | | 医疗保健 | 患者游走警报、跌倒检测区域监控 | | 边境安全 | 武器筛查、跨检查站的行为重识别 | | 隐私研究 | 数字足迹审计、OSINT 防御与意识培养 | ## 隐私优先设计 - **零预加载数据** — 仓库中没有人脸、视频或图像 - **会话内处理** — 上传的文件仅在 RAM 中处理，从不存储 - **用户控制的图库** — 仅参考您明确上传的数据 - **道德框架** — OSINT 模块专为隐私防御而非攻击而构建 - **完全透明** — 每个处理步骤都是开源且可审计的 ## 路线图 - [x] YOLOv8 人员检测 — CPU 优化 - [x] ByteTrack 多目标跟踪 - [x] 行为热力图 + 停留时间 + 徘徊警报 - [x] OSINT 隐私审计 — LBPH + 暴露分数 - [x] FastAPI 生产级后端 — OAS 3.1 - [x] HuggingFace Docker 部署 — 24/7 在线 - [x] DeepFace 情绪智能 - [x] Groq NL 查询引擎 — 英语 + 罗马乌尔都语 - [x] OSNet Deep Re-ID — 在 Market-1501 上 Rank-1 达 81.7% - [x] YOLOv8 武器检测 — 9 类 mAP50 53.2% - [x] 机密 PDF 情报报告 — fpdf2 - [x] **Threat Momentum Score (TMS v1.0)** — 全新算法 - [x] **Behavioral DNA Fingerprint (BDF v1.0)** — 全新算法 - [x] **Social Graph Intelligence (SGI v1.0)** — 全新算法 - [x] 双进程部署 — HuggingFace 上的 Streamlit + FastAPI - [ ] 预测性出口向量 — 基于轨迹的摄像头切换 - [ ] RTSP 直播流支持 — 真实 IP 摄像头输入 - [ ] 匿名化模式 — 人脸模糊但保留分析结果 - [ ] 研究论文 — 提交至 IEEE Access - [ ] Next.js 前端 — Vercel 部署 - [ ] Edge AI — Raspberry Pi + Jetson Nano ## 作者

标签：AV绕过, Docker, FastAPI, YOLOv8, 人工智能, 安全防御评估, 用户模式Hook绕过, 目标检测, 视频监控, 计算机视觉