aditipaitandy/digital-detective

GitHub: aditipaitandy/digital-detective

该项目通过 ETL 管道将非结构化取证日志规范化为 3NF 关系型数据库,提供网络犯罪情报的多维分析能力。

Stars: 0 | Forks: 0

# 🔍 Digital Detective:网络犯罪情报平台 [![MySQL 版本](https://img.shields.io/badge/MySQL-8.0%2B-blue?logo=mysql)](https://www.mysql.com/) [![Schema](https://img.shields.io/badge/Database-3NF%20Normalized-green)](https://en.wikipedia.org/wiki/Third_normal_form) [![数据](https://img.shields.io/badge/Records-50%2B%20Cases-orange)](#) [![损失](https://img.shields.io/badge/Financial%20Impact-%2410M%2B-red)](#) ## 🧠 项目概述 **Digital Detective** 是一个网络犯罪情报分析系统,旨在将原始、非结构化的取证日志转化为结构化的关系型数据库。 它支持: - 网络犯罪模式检测 - 经济损失追踪 - 嫌疑人画像 - 调查员绩效分析 - 地理热点识别 ## 🚨 问题陈述 现实世界中的网络犯罪日志通常是杂乱且不一致的: - 自由文本的事件描述会破坏结构化解析 - 多个案件中存在重复的嫌疑人/受害者数据 - 城市和地区命名不一致 - 难以进行大规模的人工分析 ## 💡 解决方案 本项目通过以下方式解决这些问题: - 用于数据清洗的 ETL pipeline - 完全规范化的 **3NF 关系型数据库设计** - 结构化的实体分离(案件、嫌疑人、受害者、调查员等) - 优化的 SQL 分析层 ## 🏗️ 数据库架构 该系统遵循严格的 **第三范式 (3NF)** 设计。 ### 核心实体 - **网络案件** → 核心事务表 - **地点** → 地理情报层 - **嫌疑人** → 威胁行为者画像 - **受害者** → 受影响组织追踪 - **调查员** → 绩效评估系统 - **证据** → 数字取证记录 ### 关系流向 案件作为连接以下内容的核心枢纽: 嫌疑人 → 受害者 → 调查员 → 地点 → 证据 ## 📊 分析模块 该系统包含用于情报提取的预置分析查询。 ### 🔹 威胁情报分析 - 犯罪类型频率 - 经济损失分布 - 攻击向量对比 ### 🔹 地理犯罪映射 - 各城市的网络犯罪密度 - 区域风险分级 - 经济损失热点 ### 🔹 嫌疑人画像引擎 - 惯犯检测 - 逮捕状态追踪 - 每个嫌疑人的经济损失归因 ### 🔹 调查员绩效指标 - 案件成功率 - 解决时间分析 - 工作量分布 ## ⚡ 性能优化 为确保快速执行查询: - 在高频搜索列上应用了索引 - 优化了关系表之间的 joins - 减少了全表扫描 - 显著提升了分析查询速度 ## 🔧 项目设置 ### 环境要求 - MySQL 8.0+ - MySQL Workbench / 任何 SQL 客户端 ### 设置步骤 1. 克隆代码库 2. 将数据库 schema 导入 MySQL 3. 将数据集加载到表中 4. 运行分析查询模块 ## 📈 关键洞察 - Ransomware 造成的单次事件经济损失最高 - 孟买和德里是网络犯罪的主要热点地区 - 少数嫌疑人实施了多次高价值攻击 - 调查员的效率在不同部门间存在显著差异 ## 🧰 技术栈 - MySQL 8.0 - SQL(高级 Joins、聚合) - 数据建模(3NF 规范化) - ETL Pipeline 设计 ## 👩‍💻 作者 **Aditi Paitandy** GitHub:https://github.com/aditi-paitandy ## ⭐ 支持 如果您喜欢这个项目: - ⭐ 为代码库加星 - 🍴 Fork 它 - 🔁 与他人分享
标签:ETL流水线, 代码示例, 多线程, 威胁情报, 开发者工具, 数据分析, 数据库设计, 网络犯罪