rushi-developer-innoveter/multimodal-fatigue-detection

# 多模态疲劳检测系统 ## 概述 一个实时多模态行为疲劳检测系统，使用： - 眼睛纵横比 - 嘴巴纵横比 - 头部姿态与点头分析 - 隐私安全的键盘遥测 该系统从摄像头和键盘信号中同步提取行为特征，通过时间聚合窗口生成可用于机器学习的多模态疲劳数据集。 其架构设计旨在支持未来使用机器学习和多模态行为融合进行疲劳分类。 ## 功能特性 ### 摄像头节点 - 实时眼部疲劳检测 - 眨眼与微睡眠分析 - 实时哈欠检测 - 自适应口部疲劳跟踪 - 前倾低头与点头检测 - 面部关键点视觉叠加 - 统一同步的FaceMesh处理流程 ### 键盘节点 - 隐私安全的行为遥测 - 打字速度偏差分析 - 停顿行为分析 - 退格键偏差跟踪 - 自适应个人基线建模 - 滚动行为退化指标 ### 系统特性 - 生成可供机器学习使用的CSV数据集 - 模块化检测器架构 - 实时行为聚合 - 多模态遥测同步 ## 技术栈 - Python - OpenCV - MediaPipe FaceMesh - NumPy - pynput - CSV数据集流程 ## 项目结构 ``` multimodal-fatigue-detection/ │ ├── README.md ├── LICENSE ├── .gitignore │ ├── camera_node/ │ ├── ear_detector.py │ ├── mar_detector.py │ ├── head_detector.py │ ├── main_camera_system.py │ └── camera_fatigue_dataset.csv │ ├── keyboard_node/ │ ├── keyboard_detector.py │ ├── main_keyboard_system.py │ └── keyboard_fatigue_dataset.csv │ └── datasets/ ``` ## 未来工作 - 多模态特征融合 - 使用机器学习进行疲劳分类 - 实时疲劳预测 - 数据集扩展与评估 - 模型基准测试与验证 - 跨用户疲劳泛化 - 跨用户疲劳泛化

标签：Apex, CSV, MediaPipe, ML数据集, NumPy, OpenCV, pynput, Python, 健康监测, 嘴巴疲劳, 多模态系统, 头部姿态估计, 实时检测, 实时系统, 微睡检测, 打哈欠检测, 数据集生成, 无后门, 时间特征工程, 机器学习, 机器学习数据集, 特征工程, 疲劳检测, 眨眼分析, 眼睛疲劳, 网络安全, 行为融合, 计算机视觉, 计算机视觉算法, 逆向工具, 键盘行为分析, 隐私保护, 面部标志点