aditipaitandy/digital-detective
GitHub: aditipaitandy/digital-detective
该项目通过 ETL 管道将非结构化取证日志规范化为 3NF 关系型数据库,提供网络犯罪情报的多维分析能力。
Stars: 0 | Forks: 0
# 🔍 Digital Detective:网络犯罪情报平台
[](https://www.mysql.com/)
[](https://en.wikipedia.org/wiki/Third_normal_form)
[](#)
[](#)
## 🧠 项目概述
**Digital Detective** 是一个网络犯罪情报分析系统,旨在将原始、非结构化的取证日志转化为结构化的关系型数据库。
它支持:
- 网络犯罪模式检测
- 经济损失追踪
- 嫌疑人画像
- 调查员绩效分析
- 地理热点识别
## 🚨 问题陈述
现实世界中的网络犯罪日志通常是杂乱且不一致的:
- 自由文本的事件描述会破坏结构化解析
- 多个案件中存在重复的嫌疑人/受害者数据
- 城市和地区命名不一致
- 难以进行大规模的人工分析
## 💡 解决方案
本项目通过以下方式解决这些问题:
- 用于数据清洗的 ETL pipeline
- 完全规范化的 **3NF 关系型数据库设计**
- 结构化的实体分离(案件、嫌疑人、受害者、调查员等)
- 优化的 SQL 分析层
## 🏗️ 数据库架构
该系统遵循严格的 **第三范式 (3NF)** 设计。
### 核心实体
- **网络案件** → 核心事务表
- **地点** → 地理情报层
- **嫌疑人** → 威胁行为者画像
- **受害者** → 受影响组织追踪
- **调查员** → 绩效评估系统
- **证据** → 数字取证记录
### 关系流向
案件作为连接以下内容的核心枢纽:
嫌疑人 → 受害者 → 调查员 → 地点 → 证据
## 📊 分析模块
该系统包含用于情报提取的预置分析查询。
### 🔹 威胁情报分析
- 犯罪类型频率
- 经济损失分布
- 攻击向量对比
### 🔹 地理犯罪映射
- 各城市的网络犯罪密度
- 区域风险分级
- 经济损失热点
### 🔹 嫌疑人画像引擎
- 惯犯检测
- 逮捕状态追踪
- 每个嫌疑人的经济损失归因
### 🔹 调查员绩效指标
- 案件成功率
- 解决时间分析
- 工作量分布
## ⚡ 性能优化
为确保快速执行查询:
- 在高频搜索列上应用了索引
- 优化了关系表之间的 joins
- 减少了全表扫描
- 显著提升了分析查询速度
## 🔧 项目设置
### 环境要求
- MySQL 8.0+
- MySQL Workbench / 任何 SQL 客户端
### 设置步骤
1. 克隆代码库
2. 将数据库 schema 导入 MySQL
3. 将数据集加载到表中
4. 运行分析查询模块
## 📈 关键洞察
- Ransomware 造成的单次事件经济损失最高
- 孟买和德里是网络犯罪的主要热点地区
- 少数嫌疑人实施了多次高价值攻击
- 调查员的效率在不同部门间存在显著差异
## 🧰 技术栈
- MySQL 8.0
- SQL(高级 Joins、聚合)
- 数据建模(3NF 规范化)
- ETL Pipeline 设计
## 👩💻 作者
**Aditi Paitandy**
GitHub:https://github.com/aditi-paitandy
## ⭐ 支持
如果您喜欢这个项目:
- ⭐ 为代码库加星
- 🍴 Fork 它
- 🔁 与他人分享
标签:ETL流水线, 代码示例, 多线程, 威胁情报, 开发者工具, 数据分析, 数据库设计, 网络犯罪