nawresbensethom/Esprit-PI-4DATA-2026-6G-Network-Anomaly-Detection

# 6G 网络中物联网智慧城市的 AI 驱动攻击防御 ## 概述 本项目是作为 **Esprit 工程学院 – 突尼斯**（2025–2026 学年）**PIDATA – 工程专业四年级项目** 的一部分开发的。 本项目的目标是设计一个 **AI 驱动的框架，用于检测和缓解**新兴 **6G 网络**中基于物联网的智慧城市环境内的网络攻击。该系统利用数据分析和机器学习技术来识别异常网络行为并增强网络安全性。 ## 问题陈述 随着智慧城市中物联网设备的快速增长以及向 6G 网络的演进，网络安全挑战变得更加复杂。传统的基于规则的系统已不足以检测复杂且不断演变的攻击。 本项目旨在解决： * 检测恶意网络流量 * 处理异构的 5G/6G 数据集（Global、eMBB、mMTC、URLLC） * 构建用于实时异常检测的智能模型 ## 功能特性 * ✅ 数据预处理流水线（清洗、缺失值处理、编码） * ✅ 使用 IQR Winsorization 处理异常值 * ✅ 特征工程（对数变换、相关性过滤） * ✅ 类别编码（One-Hot Encoding） * ✅ 多数据集分析（5G 流量场景） * ✅ 基于机器学习的异常检测 + 针对无标签 6G 数据集的深度学习 (DL) * ✅ 平衡数据集的评估与性能指标 ## 技术栈 ### 数据处理与机器学习 * Python * Pandas * NumPy * Scikit-learn ### 数据可视化 * Matplotlib * Seaborn ### 可选扩展 * Streamlit（交互式仪表盘） * Docker（容器化） * GitHub Actions（CI/CD） ## 数据集描述 本项目使用代表不同 5G 流量场景的多个数据集： * **Global**：混合流量数据集 * **eMBB**：增强型移动宽带 * **mMTC**：海量机器类通信 * **URLLC**：超可靠低延迟通信 每个数据集包含： * 网络流量特征（数据包、字节数、延迟等） * 协议信息 * 目标标签：**良性 (0) / 恶意 (1)** 同时包含 6G 数据集 数据集访问 由于 GitHub 上的文件大小限制，本项目中使用的数据集未包含在仓库中。 可以通过以下链接访问： 👉 下载数据集：https://drive.google.com/drive/folders/1QHhjL0muKQa_dtk52HXc6WW7MTUyG1nR?usp=sharing ## 数据预处理流水线 应用了以下步骤： 1. 移除不相关的特征（ID、常量列） 2. 使用 **中位数插补** 处理缺失值 3. 清理分类异常（`?` 值） 4. 移除高度相关的特征 5. 使用基于 **IQR 的 Winsorization** 处理异常值 6. 对偏态特征进行对数变换 7. 对分类变量进行 One-Hot Encoding 8. 最终数据集验证（无缺失值，模式一致） ## 机器学习方法 ### 问题类型 * **二分类**（良性 vs 恶意） ### 使用的模型 * Logistic Regression * Random Forest * XGBoost * Isolation Forest（用于异常检测场景） ### 评估指标 * Accuracy * Precision / Recall * F1-Score * ROC-AUC * Confusion Matrix ## 结果 5G 最佳模型 XGBoost： * Accuracy：99% * F1-Score：94% * ROC-AUC：98% ## 项目结构 ``` 📁 project-root │ ├── 📁 data/ │ ├── Global_clean.csv │ ├── eMBB_clean.csv │ ├── mMTC_clean.csv │ └── URLLC_clean.csv │ ├── 📁 notebooks/ │ ├── data_cleaning.ipynb │ ├── eda.ipynb │ ├── modeling.ipynb │ ├── 📁 src/ │ ├── preprocessing.py │ ├── training.py │ ├── evaluation.py │ ├── 📁 models/ │ └── model.pkl │ ├── requirements.txt └── README.md ``` ## 开始使用 ### 1. 克隆仓库 ``` git clone https://github.com/your-username/your-repo.git cd your-repo ``` ### 2. 安装依赖 ``` pip install -r requirements.txt ``` ### 3. 运行项目 * 使用 Jupyter 或 Google Colab 打开 notebook * 执行预处理 → 建模 → 评估 ## 指导教师 * Bouraoui Rahma * Cherif Safa * Mejri Ameni ## 学术背景 在 **Esprit 工程学院 – 突尼斯** 开发 PIDEV – 工程专业四年级项目 学年：2025–2026 ## 未来工作 * 集成实时流数据 * 使用 Streamlit 仪表盘进行部署 * Deep Learning 模型（LSTM、Autoencoders） * MLOps 流水线（CI/CD + 监控） ## 致谢 * Esprit 工程学院 * 学术导师和项目指导者 * 开源社区

标签：5G网络, 6G网络, Apex, Docker, eMBB, impacket, IP 地址批量处理, Kubernetes, Matplotlib, mMTC, NoSQL, NumPy, Python, Scikit-learn, Seaborn, Streamlit, URLLC, 人工智能, 代码示例, 入侵检测系统, 安全数据湖, 安全防御评估, 工业互联网, 异常流量检测, 恶意攻击防御, 插件系统, 数据分析, 数据清洗, 无后门, 智慧城市, 机器学习, 深度学习, 物联网安全, 特征工程, 用户模式Hook绕过, 网络安全, 网络异常检测, 网络攻击缓解, 访问控制, 请求拦截, 逆向工具, 隐私保护