Mo-Resa77/Network-Anomaly-Detection-KMeans

GitHub: Mo-Resa77/Network-Anomaly-Detection-KMeans

利用无监督 KMeans 聚类对网络流量的延迟与吞吐量特征进行建模,实现零日威胁异常检测并揭示距离聚类在稀疏异常场景下的局限性。

Stars: 0 | Forks: 0

# 使用无监督 KMeans 聚类进行网络异常检测 一个先进的无监督机器学习框架和持续行为审计 pipeline,旨在分析网络日志并基于实时的性能基础设施属性(Latency 和 Throughput)检测安全入侵。 ## 核心架构与工程特性 - **无监督空间建模:** 自动化框架在完全屏蔽目标 ground-truth 向量的情况下进行训练,以建立真实的网络 baseline 拓扑。 - **流量特征分析:** 处理连续的架构特征指标——具体是将网络 Latency (ms) 与数据 Throughput (Mbps) 指标进行映射。 - **数据不平衡优化:** 内置编程式交叉验证,以解决严重的类别不平衡问题(393 条良性系统记录 vs 12 条稀疏威胁记录)。 - **统计指标交叉表:** 利用 Pandas 交叉表(Confusion Matrix 对齐检查)、Recall 优化和 precision 评估来捕捉恶意流量的边界。 ## 🛠️ 技术栈 - **编程语言:** Python - **机器学习库:** Scikit-Learn (sklearn) - **数据可视化:** Seaborn, Matplotlib - **数据分析引擎:** Pandas, NumPy - **运行环境:** Google Colab / Jupyter Notebooks ## 揭示的核心工程洞察 此部署在数学上揭示了标准的基于距离的、各向同性 Euclidean 聚类模型(如 KMeans)在处理线性、非球形异常线索时的性能局限性。它展示了高度稀疏的异常值分布如何扭曲经典的线性决策边界——从而证明了在企业级 Intrusion Detection Systems (IDS) 中采用基于密度的空间替代方案(例如 DBSCAN)的架构必要性。 视频链接 = https://drive.google.com/drive/folders/1-Om2MQpr5XZNH6l-J41VjAhyZ8fTkheH?usp=drive_link 我的工作演示视频。谢谢。
标签:Apex, Python, Scikit-Learn, 异常检测, 无后门, 机器学习, 网络安全, 网络流量分析, 逆向工具, 隐私保护