gourav05052004/aegis
GitHub: gourav05052004/aegis
AegisSOC 是一个融合 LightGBM 与 Isolation Forest 的混合 AI SOC 引擎，解决告警疲劳、冷启动误报和黑盒不可解释性问题，实现自主 Tier-1 事件分类与响应。
Stars: 0 | Forks: 0
# **AegisSOC | 企业级混合网络威胁引擎与自主 AI Copilot**
[](https://python.org)
[](https://streamlit.io)
[](https://lightgbm.readthedocs.io/)
[](https://shap.readthedocs.io/)
[](LICENSE)
[]()
### 🚀 快速链接
[在线演示](https://aegis-soc-copilot.streamlit.app/) | [视频演示](https://youtube.com) | [演示文稿](https://slides.com) | [系统架构图](#-key-technical-decisions--system-architecture-judge-delighters) | [基准指标](#-phase-3-held-out-benchmark-results)
## 📸 主仪表盘预览
*图 1：AegisSOC 深色玻璃拟物化高管级 SOC 仪表盘，具备实时风险过滤、实时流式事件分类、交互式 SHAP 归因以及自主 AI Copilot 简报功能。*
## 🎯 核心推介：问题与解决方案
### ❌ 核心问题
1. **告警疲劳与误报：** 安全分析师浪费大量时间审计由僵化静态规则生成的冗余告警。
2. **零日攻击与低速慢速攻击盲区：** 传统的签名规则无法应对隐蔽的撞库、不可能的旅行（异地登录）或动态协议更改。
3. **冷启动困境：** 新用户、服务账号和 IoT/Edge 设备缺乏历史遥测基线，在接入时会引发大规模误报激增。
4. **黑盒 AI 僵局：** 当告警缺乏通俗易懂的根本原因解释和可行的封控命令时，分析师往往会拒绝接受黑盒 ML 模型。
### ✅ AegisSOC 解决方案
AegisSOC 提供了一套**端到端的 8 阶段网络异常检测与自主 SOC Tier-1 响应生态系统**：
- **35.2ms 亚秒级流式推理 SLA：** 通过原子级流式重放匹配处理遥测流，吞吐量匹敌 Kafka / Azure Event Hubs 的摄入速率。
- **动态 EWMA + 混合权重融合：** 将无监督 Isolation Forest 基线偏差（$w_1 = 0.3$）与有监督 LightGBM 多分类攻击概率（$w_2 = 0.7$）相融合，在保持高精度的同时捕获零日异常。
- **同组冷启动回退：** 通过将新实体默认映射到 `entity_type:resource_category` 同组基线，并配合平滑的 5 次事件 Sigmoid 过渡曲线，消除接入时的告警激增。
- **通俗英语的 SHAP 可解释性：** 将复杂的数学特征归因转化为自然语言的根本原因说明，方便 Tier-1 分析师理解。
- **自主 AI 事件 Copilot：** 自动生成高管级 CISO 总结报告，映射 MITRE ATT&CK 技术 ID，并输出单行 CLI 封控命令。
## 📊 量化业务与安全影响
| 指标 | 行业基准 | AegisSOC 性能 | 影响提升 |
| :--- | :---: | :---: | :---: |
| **告警精确率 (Top-1% 预算)** | 12.4% | **98.40%** | **8倍降噪** |
| **二元模型召回率** | 81.2% | **97.80%** | **几乎零漏报入侵** |
| **误报率 (FPR)** | 14.8% | **0.1200%** | **近乎零告警疲劳** |
| **单事件推理延迟** | ~4,500ms | **35.2 ms** | **亚秒级流式处理 SLA** |
| **Tier-1 事件分类时间** | 25 分钟 | **< 30 秒** | **50倍封控提速** |
## 🖥️ 可视化导览与核心功能
### 1. 🚨 威胁调查与实时告警队列
使用告警预算滑块（前 1%、5%、10%）动态过滤告警。查看交互式散点图时间线，该图将混合风险评分与执行时间戳相对应，并配备锁定事件选择器。
*评委所见：按威胁严重程度进行颜色编码的实时告警优先级排序表，以及锁定的事件详情面板。*
### 2. 🕵️ 实体时间线与攻击故事板
深入分析单个实体行为（用户、服务账号、边缘设备）。重建完整按时间顺序排列的事件故事板，将实时遥测数据与历史基线配置文件进行对比。
*评委所见：按时间顺序排列的泳道图，追踪实体从正常基线行为到多阶段被入侵活动的轨迹。*
### 3. 🧬 SHAP 根本原因可解释性引擎
消除对黑盒 ML 的质疑。`shap.TreeExplainer` 将每个高风险告警（混合评分 $\ge 0.7$）分解为水平特征归因图表和通俗易懂的 SOC 分析师说明。
*评委所见：量化的特征贡献条，准确显示事件被标记的原因（例如：Haversine 速度 > 800 公里/小时，非工作时间访问）。*
### 4. ❄️ 零历史冷启动接入探索器
新创建的账号不会触发任何误报。同组基线（$N_{events} = 5$ 阈值）可将实体从同组预期平滑过渡到个体 EWMA 行为。
*评委所见：交互式 Sigmoid 过渡图，展示了新实体记录其前 10 次事件时的评分归一化过程。*
### 5. 🔄 会话内 EWMA 概念漂移反馈循环
会话内的分析师人工干预反馈。当分析师点击“将告警标记为合法”时，引擎会实时调整实体基线，无需进行完整的模型重新训练。
*评委所见：反馈后的实时风险评分重新计算，展示了在 < 2ms 内完成的动态模型适应。*
### 6. 🤖 自主 Tier-1 AI SOC Copilot
生成式 AI pipeline，用于分析威胁上下文，输出高管级 CISO 事件摘要、映射的 MITRE ATT&CK 技术 ID（例如：T1078、T1020），以及可直接复制粘贴的单行 CLI 封控命令。
*评委所见：瞬间生成的可直接执行的终端脚本（例如：`aws iam revoke-security-credentials`）用于封控。*
### 7. 💬 "Ask My SOC" 遥测 RAG 助手
自然语言界面，允许分析师使用对话式英语查询事件日志、基线配置文件和历史预测，并提供推荐的 prompt 模板。
*评委所见：对话式威胁狩猎界面，可瞬间回答对超过 100,000 条原始遥测日志的复杂查询。*
## ⚡ 核心技术决策与系统架构（评委惊喜点）
下图概述了 AegisSOC 完整的多阶段系统架构，详细介绍了从合成日志生成和特征提取，到混合评分融合、冷启动处理、SHAP 可解释性、交互式仪表盘渲染以及 AI Copilot 响应的端到端遥测 pipeline。
```
+---------------------------------------------------------------------------------+
| Entity Baseline Profiles (data/profiles.json) |
| Users (75%) | Service Accounts (15%) | Edge Devices (10%) |
+---------------------------------------------------------------------------------+
|
v
+---------------------------------------------------------------------------------+
| Synthetic Event Stream Engine (src/generator.py) |
| - 7-Day Timeline Simulation - Gaussian Peak Hours |
| - Categorical Resource Mapping - Seedable Reproducibility |
+---------------------------------------------------------------------------------+
| |
v v
+-----------------------------+ +-----------------------------+
| data/events.csv | | data/labels.csv |
| (100,000 Event Stream) | | (Ground Truth Labels) |
+-----------------------------+ +-----------------------------+
|
+------------------------------------------------------------------+
| |
v v
+---------------------------------------------+ +-------------------------------+
| Batch Feature & Profiling Pipeline | | Real-Time Event Stream Engine |
| (src/feature_engineering.py & baseline) | | (src/stream_simulator.py) |
| - Haversine Geo Velocity & 13+ Features | | - 35ms Sub-Second Latency |
| - Unsupervised IsolationForest Scoring | | - Atomic JSON Stream Writer |
+---------------------------------------------+ +-------------------------------+
\ /
\ /
v v
+---------------------------------------------------------------------------------+
| Optimal Hybrid Risk Weight Fusion Engine |
| Hybrid Risk Score = 0.3 * Baseline + 0.7 * P(Attack) |
+---------------------------------------------------------------------------------+
|
v
+---------------------------------------------------------------------------------+
| Cold Start Handling Engine (src/cold_start.py) |
| - Peer-Group Fallbacks (entity_type:resource_category) |
| - Smooth Sigmoid Transition (N_events = 5) |
+---------------------------------------------------------------------------------+
|
v
+---------------------------------------------------------------------------------+
| SHAP Explainability Engine (src/explainability.py) |
| - High-Risk Filtering (Hybrid Score >= 0.7) - shap.TreeExplainer |
| - Background Sampling (N=200) - Plain-English Translator |
+---------------------------------------------------------------------------------+
|
v
+---------------------------------------------------------------------------------+
| Interactive SOC Analyst Dashboard (dashboard.py) |
| - Dark Glassmorphism Theme (Streamlit + Plotly) |
| - Real-Time Streaming Toggle & In-Session EWMA Concept Drift Feedback |
+---------------------------------------------------------------------------------+
|
v
+---------------------------------------------------------------------------------+
| Autonomous Tier-1 AI Copilot Engine (src/llm_copilot.py) |
| - Executive CISO Incident Briefings & MITRE ATT&CK Mappings |
| - Tier-1 Containment Playbooks & 1-Line CLI Remediation Scripts |
+---------------------------------------------------------------------------------+
```
*图 2：完整的 AegisSOC 端到端系统与流式架构。*
### 💡 架构权衡分析
#### 1. 混合风险评分融合（$w_1=0.3, w_2=0.7$）对比 单一有监督分类器
- **权衡：** 有监督模型擅长识别已知的攻击签名，但对未知的零日攻击视而不见。无监督模型能捕获原始的统计新颖性，但会导致高误报率。
- **我们的选择：** 将无监督的 Isolation Forest 基线评分（$w_1=0.3$）与有监督的 LightGBM 概率（$w_2=0.7$）进行融合。
- **结果：** 在基准遥测数据上实现了 **98.4% 的精确率**，同时保持了稳健的零日异常检测能力。
#### 2. 同组 Sigmoid 回退 对比 零基线冷启动
- **权衡：** 新实体缺乏历史记录。用零基线初始化它们会立即引发异常激增；用整体平均值初始化它们则会忽略实体的类别。
- **我们的选择：** 结构化的 `entity_type:resource_category` 同组回退，并结合 5 次事件的平滑 Sigmoid 过渡。
- **结果：** 接入时的误报率降至 **< 0.1%**。
#### 3. 内存中 EWMA 基线适应 对比 每日离线批处理重训练
- **权衡：** 离线重训练耗时数小时并消耗 GPU 资源；而纯粹的静态基线会因为概念漂移而变得陈旧。
- **我们的选择：** 在分析师反馈后在内存中执行指数移动平均（EWMA）更新。
- **结果：** 无需重新拟合树集成即可实现即时（<2ms）的概念漂移适应。
## 🛠️ 技术栈矩阵
| 类别 | 技术 / 框架 | 用途 |
| :--- | :--- | :--- |
| **前端 UI** | `Streamlit`, `Plotly`, `HTML5/CSS3` | 定制的深色玻璃拟物化 SOC 分析师仪表盘与交互式图表 |
| **后端核心** | `Python 3.9+`, `Pandas`, `NumPy` | Pipeline 编排、向量处理和特征计算 |
| **AI / 机器学习** | `LightGBM`, `scikit-learn` (Isolation Forest) | 多分类攻击识别和无监督基线异常分析 |
| **XAI 与可解释性** | `SHAP` (`TreeExplainer`) | 背景采样归因与通俗英语的根本原因转换 |
| **LLM 与 Copilot** | `Groq / Gemini / OpenAI API`, `JSON Schema` | 自主 CISO 简报生成、MITRE ATT&CK 映射和 CLI 脚本 |
| **实时流处理** | `Sub-Second JSON Replay Engine` | 模拟 Kafka / Event Hubs 的高吞吐量遥测摄入 (35ms SLA) |
| **DevOps 与工具** | `Git`, `Pip`, `Virtualenv` | 依赖管理、可复现的随机种子生成、CLI 工具 |
## 🎯 第三阶段留出基准测试结果
我们的模型在包含 **100,000 个合成 SOC 事件**的留出测试数据集上进行了评估，其中包含 7 种不同的攻击向量（撞库、不可能的旅行、数据泄露、服务账号滥用、非工作时间提权、DDoS 风暴、横向移动）：
```
=====================================================================================
AEGISSOC BENCHMARK EVALUATION METRICS (Synthetic Telemetry Evaluation Set)
=====================================================================================
• Overall Binary Precision: 98.40%
• Overall Binary Recall: 97.80%
• F1-Score: 98.10%
• Precision-Recall AUC (PR-AUC): 0.9920
• False Positive Rate (FPR): 0.1200%
• Top-1% Alert Budget Precision: 98.40%
• Average Per-Event Latency: 35.2 ms
=====================================================================================
```
## 🚀 如何在本地运行（开发者快速入门）
### 前置条件
- **Python：** 已安装 3.9、3.10 或 3.11 版本
- **Git：** 已安装在本地系统
### 步骤 1：克隆代码库并创建虚拟环境
```
git clone https://github.com/gourav05052004/HW.git
cd HW
# 创建 virtual environment
python -m venv venv
# 激活 virtual environment
# 在 Windows (PowerShell) 上：
.\venv\Scripts\Activate.ps1
# 在 Linux/macOS 上：
source venv/bin/activate
```
### 步骤 2：安装依赖并配置环境
```
pip install -r requirements.txt
# 配置环境变量（对于 AI Copilot 功能可选）
cp .env.example .env
```
### 步骤 3：运行完整的端到端 Pipeline（阶段 1 - 8）
逐步运行完整的 Pipeline，或直接启动交互式仪表盘：
```
# 1. 生成 Synthetic SOC Telemetry Stream (Phase 1)
python src/generator.py --events 100000 --seed 42
# 2. 提取 Behavioral Feature Matrix 和 Geo-Velocities (Phase 2)
python src/feature_engineering.py --events data/events.csv --profiles data/profiles.json --output data/features.csv
# 3. 训练 Unsupervised Baseline Profiler (Phase 2)
python src/baseline_profiler.py --features data/features.csv --output data/baseline_scores.csv
# 4. 训练 LightGBM Detector 并优化 Weight Fusion (Phase 3)
python src/train_detector.py --features data/features.csv --baseline data/baseline_scores.csv --labels data/labels.csv
# 5. 执行 Single-Pass Batch Inference (Phase 3)
python src/predict.py --events data/events.csv --profiles data/profiles.json --output data/predictions.csv
# 6. 生成 SHAP Explanations 和 Analyst Insights (Phase 4)
python src/explainability.py --model models/lightgbm_detector.pkl --features data/features.csv --predictions data/predictions.csv --output data/explanations.json
# 7. 运行 Cold-Start Peer-Group Simulation (Phase 5)
python src/cold_start.py --output data/cold_start_demo.json
# 8. 启动 Real-Time Event Stream Simulator (Phase 7)
python src/stream_simulator.py --events 1000 --delay 0.2 --output data/live_stream_predictions.json
```
### 步骤 4：启动企业级 SOC 分析师仪表盘
```
streamlit run dashboard.py
```
*导航至 `http://localhost:8501` 即可打开交互式深色玻璃拟物化 SOC 分析师仪表盘。*
### 步骤 5：测试自主 AI 事件 Copilot
```
python src/llm_copilot.py
```
## 🔮 未来路线图
- [ ] **原生 Kafka 与 Azure Event Hubs 连接器：** 直接摄入驱动程序，取代基于文件的流式重放，以实现企业级 SIEM 生产环境的集成。
- [ ] **自动化 SOAR Webhooks：** 与 Splunk SOAR、Palo Alto Cortex XSOAR 和 Microsoft Sentinel 即时集成，以触发自动防火墙拦截规则。
- [ ] **图神经网络 (GNN) 横向移动引擎：** 深度图表示学习，用于追踪跨内部企业微服务的复杂身份移动。
## 📜 许可证本项目基于 **MIT License** 授权 - 请查看完整的 [LICENSE](LICENSE) 文件了解详情。
AegisSOC 异常检测系统 — （所有阶段均已完成并验证）
标签：Apex, Kubernetes, LightGBM, 可解释性AI, 安全运营(SOC), 异常检测, 机器学习, 自动化响应(SOAR), 逆向工具