Mo-Resa77/Network-Anomaly-Detection-KMeans
GitHub: Mo-Resa77/Network-Anomaly-Detection-KMeans
利用无监督 KMeans 聚类对网络流量的延迟与吞吐量特征进行建模,实现零日威胁异常检测并揭示距离聚类在稀疏异常场景下的局限性。
Stars: 0 | Forks: 0
# 使用无监督 KMeans 聚类进行网络异常检测
一个先进的无监督机器学习框架和持续行为审计 pipeline,旨在分析网络日志并基于实时的性能基础设施属性(Latency 和 Throughput)检测安全入侵。
## 核心架构与工程特性
- **无监督空间建模:** 自动化框架在完全屏蔽目标 ground-truth 向量的情况下进行训练,以建立真实的网络 baseline 拓扑。
- **流量特征分析:** 处理连续的架构特征指标——具体是将网络 Latency (ms) 与数据 Throughput (Mbps) 指标进行映射。
- **数据不平衡优化:** 内置编程式交叉验证,以解决严重的类别不平衡问题(393 条良性系统记录 vs 12 条稀疏威胁记录)。
- **统计指标交叉表:** 利用 Pandas 交叉表(Confusion Matrix 对齐检查)、Recall 优化和 precision 评估来捕捉恶意流量的边界。
## 🛠️ 技术栈
- **编程语言:** Python
- **机器学习库:** Scikit-Learn (sklearn)
- **数据可视化:** Seaborn, Matplotlib
- **数据分析引擎:** Pandas, NumPy
- **运行环境:** Google Colab / Jupyter Notebooks
## 揭示的核心工程洞察
此部署在数学上揭示了标准的基于距离的、各向同性 Euclidean 聚类模型(如 KMeans)在处理线性、非球形异常线索时的性能局限性。它展示了高度稀疏的异常值分布如何扭曲经典的线性决策边界——从而证明了在企业级 Intrusion Detection Systems (IDS) 中采用基于密度的空间替代方案(例如 DBSCAN)的架构必要性。
视频链接 =
https://drive.google.com/drive/folders/1-Om2MQpr5XZNH6l-J41VjAhyZ8fTkheH?usp=drive_link
我的工作演示视频。谢谢。
标签:Apex, Python, Scikit-Learn, 异常检测, 无后门, 机器学习, 网络安全, 网络流量分析, 逆向工具, 隐私保护