nashrahjaan53-code/anomaly-detection
GitHub: nashrahjaan53-code/anomaly-detection
基于多种无监督学习算法构建的实时异常检测平台，通过交互式仪表板对流式时序数据进行离群点识别与可视化分析。
Stars: 0 | Forks: 0
# 🚨 实时异常检测平台
### 用于智能离群点检测的无监督机器学习
*这是一个使用多种无监督学习算法实时检测异常模式的机器学习系统。旨在通过异常评分和交互式仪表板，监控传感器数据、系统指标、金融交易和网络活动。*
# 📖 概述
在异常行为演变成严重问题之前将其检测出来，是机器学习最重要的应用之一。
本项目实现了一个实时异常检测 pipeline，能够在不需要标注训练样本的情况下，从大量数据流中识别出异常的观测值。
使用多种无监督学习算法，系统能够检测异常、比较模型性能，并通过交互式 Streamlit 仪表板可视化可疑活动。
# ✨ 核心功能
## 🤖 无监督机器学习
平台支持多种异常检测算法，包括：
- Isolation Forest
- One-Class SVM
- DBSCAN 聚类
## 📊 实时监控
分析流式或批量数据集，例如：
- 传感器数据
- 系统日志
- 网络流量
- 金融交易
- IoT 设备
- 应用程序指标
## 🚨 智能异常检测
自动识别：
- 离群点
- 可疑行为
- 罕见事件
- 模式偏差
- 异常集群
## 📈 交互式仪表板
可视化：
- 实时异常评分
- 检测结果
- 特征分布
- 模型比较
- 性能指标
# 🏗 项目工作流
```
flowchart LR
A[Input Data]
B[Preprocessing]
C[Feature Engineering]
D[Isolation Forest]
E[One-Class SVM]
F[DBSCAN]
G[Anomaly Detection]
H[Dashboard]
A --> B
B --> C
C --> D
C --> E
C --> F
D --> G
E --> G
F --> G
G --> H
```
# 📊 检测 Pipeline
系统执行多个阶段的异常分析。
### 📥 数据处理
- 数据清洗
- 特征缩放
- 缺失值处理
- 归一化
### 🤖 模型训练
应用多种无监督算法进行异常检测。
- Isolation Forest
- One-Class SVM
- DBSCAN
### 🚨 检测
识别：
- 正常观测值
- 离群点
- 可疑行为
- 集群异常
### 📊 可视化
提供：
- 交互式仪表板
- 散点图
- 分布图
- 异常热力图
- 模型性能
# 📈 性能
| 指标 | 分数 |
|---------|-------:|
| 精确率 | **89%** |
| 召回率 | **84%** |
# 🛠 技术栈
| 类别 | 技术 |
|-----------|------------|
| 编程 | Python |
| 机器学习 | Scikit-learn |
| 算法 | Isolation Forest, One-Class SVM, DBSCAN |
| 数据处理 | Pandas, NumPy |
| 可视化 | Plotly, Matplotlib |
| 仪表板 | Streamlit |
# 📂 仓库结构
```
anomaly-detection/
│
├── dashboard/
├── data/
├── src/
├── train.py
├── requirements.txt
└── README.md
```
# 🎯 展现的技能
- 无监督学习
- 异常检测
- Isolation Forest
- One-Class SVM
- DBSCAN
- 特征工程
- 数据可视化
- 仪表板开发
- 机器学习 Pipeline
# 📊 支持的应用场景
本项目可适用于检测以下领域的异常：
- 💳 金融欺诈
- 🌐 网络入侵
- 🏭 工业 IoT 传感器
- 📡 服务器监控
- ⚡ 能源消耗
- 🛒 客户行为
- 🩺 医疗监控
# ⚙ 开始使用
克隆仓库：
```
git clone https://github.com/your-username/anomaly-detection.git
```
安装依赖项：
```
pip install -r requirements.txt
```
训练模型：
```
python train.py
```
启动仪表板：
```
streamlit run dashboard/app.py
```
# 💡 为什么选择这个项目？
传统的机器学习依赖于标注数据集，但现实世界中的异常通常是罕见且未标注的。
本项目展示了无监督学习技术如何自动识别跨不同领域的不寻常模式。它将多种检测算法、交互式可视化和实时分析结合到一个实用的异常检测平台中，适用于监控运营系统和支持数据驱动的决策制定。标签：AIOps, Apex, Kubernetes, 异常检测, 时间序列分析, 机器学习, 逆向工具