SubramanyaAttota/AI-Enhanced-SIEM-Framework-Validation

## 查看验证结果 [点击此处查看完整渲染的验证结果](https://htmlpreview.github.io/?https://raw.githubusercontent.com/SubramanyaAttota/AI-Enhanced-SIEM-Framework-Validation/main/SIEM_Framework_Validation.html) # AI增强SIEM框架 — 验证 研究论文**“AI增强SIEM框架用于事件响应”**的验证代码。 实验在[Microsoft GUIDE数据集](https://www.kaggle.com/datasets/Microsoft/microsoft-security-incident-prediction)上运行，涵盖了四个方面，其中所提出的框架在当前的AI-SIEM方法上进行了改进。 ## 仓库结构 ``` AI-Enhanced-SIEM-Framework-Validation/ │ ├── SIEM_Framework_Validation.ipynb ← Main notebook (all experiments and results) ├── requirements.txt ← Python dependencies ├── README.md ← This file │ └── outputs/ ← Generated after running the notebook ├── table_detection_performance.csv ├── table_prioritisation_comparison.csv ├── table_investigation_workload.csv ├── table_response_summary.csv ├── table_response_action_distribution.csv ├── SIEM_Framework_Results_Tables.xlsx ├── figure_normalised_confusion_matrix.png ├── figure_prioritisation_comparison.png ├── figure_investigation_workload.png └── figure_response_summary.png ``` ## 数据集 | 字段 | 详细信息 | |-------|--------| | 名称 | GUIDE (Microsoft安全事件预测) | | 来源 | [Kaggle](https://www.kaggle.com/datasets/Microsoft/microsoft-security-incident-prediction) | | 需要的文件 | `GUIDE_Train.csv` | | 加载的行数 | 300,000 (通过Cell 2中的`nrows`配置) | **在运行笔记本之前，请下载`GUIDE_Train.csv`并将其放置在笔记本同一目录下。** ## 设置 ### 1. 克隆仓库 ``` git clone https://github.com/SubramanyaAttota/AI-Enhanced-SIEM-Framework-Validation.git cd AI-Enhanced-SIEM-Framework-Validation ``` ### 2. 安装依赖项 ``` pip install -r requirements.txt ``` ### 3. 添加数据集 从Kaggle下载`GUIDE_Train.csv`并将其放置在仓库根目录下。 ### 4. 运行笔记本 ``` jupyter notebook SIEM_Framework_Validation.ipynb ``` 从上到下运行所有单元格（**内核 → 重新启动并运行所有**）。 ## 实验 ### 实验1 — 事件检测性能 **功能：** 训练XGBoost多类分类器来预测`IncidentGrade`（`TruePositive`、`BenignPositive`、`FalsePositive`）。 **模型：** XGBoostClassifier — 200个估计器，最大深度6，学习率0.1，80/20训练-测试分割。 **输出：** | 输出 | 描述 | |--------|-------------| | `table_detection_performance.csv` | 准确率、宏精确率、召回率、F1 | | `figure_normalised_confusion_matrix.png` | 行归一化混淆矩阵热图 | ### 实验2 — 基于混合风险分数的警报优先级排序 **功能：** 比较两种排名策略以在顶部审阅的警报中突出显示True Positives： - **当前AI-SIEM：** 仅按TruePositive类概率排名（ML置信度）。 - **所提出的框架：** 混合分数 = `0.80 × ML_probability + 0.20 × context_score` **上下文分数**是以下特征的加权组合： | 特征 | 权重 | |---------|--------| | 高风险类别（恶意软件、数据泄露等） | 0.30 | | EvidenceRole包含受影响/受损 | 0.20 | | SuspicionLevel已填充 | 0.15 | | ThreatFamily已填充 | 0.15 | | MitreTechniques已填充 | 0.10 | | LastVerdict包含恶意/可疑 | 0.10 | 在Top 10%、20%、25%和30%阈值上进行评估。 **输出：** | 输出 | 描述 | |--------|-------------| | `table_prioritisation_comparison.csv` | 每个阈值下两种方法的TP率 | | `figure_prioritisation_comparison.png` | 比较两种方法的折线图 | ### 实验3 — 调查工作量减少 **功能：** 通过将单个警报行分组到事件级别的单元中来衡量分析师工作量的减少。 - **当前AI-SIEM：** 分析师单独审阅每个警报/证据行。 - **所提出的框架：** 行按`IncidentId`分组 — 分析师每个事件审阅一条记录。 **输出：** | 输出 | 描述 | |--------|-------------| | `table_investigation_workload.csv` | 行数与事件数加工作量减少百分比 | | `figure_investigation_workload.png` | 比较审阅项计数的条形图 | ### 实验4 — 自动响应推荐 **功能：** 使用`Category × IncidentGrade`剧本矩阵将每个警报映射到推荐的响应操作。 **决策逻辑：** - `TruePositive` → 针对攻击类别的即时遏制操作 - `BenignPositive` → 验证并监控 - `FalsePositive` → 无遏制；调整检测规则 - 未知 → 分析师审查所需 **涵盖的类别：** 恶意软件、钓鱼、凭证访问、命令与控制、数据泄露、侦察、持续性、权限提升、执行、初始访问、横向移动。 **输出：** | 输出 | 描述 | |--------|-------------| | `table_response_summary.csv` | 每个IncidentGrade的记录数和唯一响应类型 | | `table_response_action_distribution.csv` | 最常发布的15种响应操作 | | `figure_response_summary.png` | 每个IncidentGrade的记录条形图 | ## 所有生成的输出 | 文件 | 类型 | |------|------| | `table_detection_performance.csv` | CSV | | `table_prioritisation_comparison.csv` | CSV | | `table_investigation_workload.csv` | CSV | | `table_response_summary.csv` | CSV | | `table_response_action_distribution.csv` | CSV | | `SIEM_Framework_Results_Tables.xlsx` | Excel（所有表格，一个工作簿） | | `figure_normalised_confusion_matrix.png` | 图 | | `figure_prioritisation_comparison.png` | 图 | | `figure_investigation_workload.png` | 图 | | `figure_response_summary.png` | 图 | ## 要求 ``` pandas numpy scikit-learn xgboost matplotlib seaborn openpyxl jupyter ``` ## 引用 如果您使用此代码，请引用： ``` Attota, S. (2026). AI-Enhanced SIEM Framework for Incident Response. GitHub: https://github.com/SubramanyaAttota/AI-Enhanced-SIEM-Framework-Validation ``` ## 许可证 MIT许可证 — 免费使用和修改，需注明出处。

标签：Apex, DNS解析, GUIDE 数据集, Kaggle, Python, 人工智能, 代码库, 代码示例, 安全事件预测, 安全信息与事件管理, 实验研究, 开源项目, 性能评估, 搜索引擎爬取, 数据分析, 数据验证, 无后门, 机器学习, 用户模式Hook绕过, 结果可视化, 逆向工具