Manvi-bit-tech/Intrusion-Detection-System

# 使用基于 Transformer 的时间异常检测的 AI 驱动自适应入侵检测与网络威胁情报框架 ## 概述 网络安全系统面临着日益复杂的攻击，这些攻击展现出复杂的时间和行为模式。传统的基于特征的入侵检测系统 (IDS) 通常无法检测到以前未见的攻击，而许多机器学习方法缺乏可解释性，使其难以在实际操作环境中获得信任。 本项目提出了一个 **AI 驱动的自适应入侵检测与网络威胁情报框架**，它结合了 **基于 Transformer 的时间异常检测**、**混合时间表示工程 (HTRE)**、**SHAP 可解释人工智能 (XAI)** 以及一个自动化的 **威胁情报引擎**。 该框架不仅能检测多种类别的网络攻击，还能解释做出预测的原因，并通过上下文威胁情报丰富预测结果，包括严重性评估、MITRE ATT&CK 映射、风险优先级划分以及可操作的安全建议。 # 框架概述 ``` CICIDS2018 Dataset │ ▼ Data Preprocessing │ ▼ Hybrid Temporal Representation Engineering (HTRE) │ ▼ Transformer-Based Temporal Anomaly Detection │ ▼ Multi-Class Attack Prediction │ ▼ SHAP Explainability Engine │ ▼ Threat Intelligence Framework │ ▼ Comprehensive Threat Assessment Report ``` # 项目目标 本框架的主要目标是： - 使用基于 Transformer 的架构检测多种类别的网络攻击。 - 通过时间特征工程提升检测能力。 - 使用 SHAP 提供透明且可解释的预测。 - 将原始的 IDS 预测转化为可操作的网络威胁情报。 - 通过自动化的风险评估和响应建议为安全分析师提供支持。 # 数据集 该框架是使用 **CICIDS2018** 数据集开发的。 ### 数据集特征 - 真实的网络流量 - 现代攻击场景 - 良性和恶意流量 - 基于流的网络特征 - 多种攻击类别 ### 攻击类别 - 良性 - DDoS - DoS Hulk - DoS GoldenEye - DoS Slowloris - DoS SlowHTTPTest - Bot - FTP-Patator - SSH-Patator - 端口扫描 - Web 攻击 – 暴力破解 - Web 攻击 – XSS - Web 攻击 – SQL 注入 - Heartbleed - 渗透 # 提议的方法论 提议的框架由四个主要阶段组成。 ## 阶段 1 — 数据预处理 CICIDS2018 数据集经过预处理，为深度学习准备高质量的输入。 预处理 pipeline 包括： - 缺失值处理 - 无穷大值剔除 - 特征归一化 - 标签编码 - 数据集平衡（如适用） - 训练集与测试集划分 ## 阶段 2 — 混合时间表示工程 (HTRE) 该框架不仅仅依赖原始的 CICIDS2018 流特征，还引入了额外的时间表示，以更好地捕获网络行为。 ### 原始网络特征 Transformer 模型利用了 CICIDS2018 提供的原始流级特征，包括： - 流持续时间 - 总前向数据包数 - 总后向数据包数 - 流字节/秒 - 流数据包/秒 - 数据包长度统计 - 到达时间间隔 (IAT) 特征 - TCP 标志特征 - 窗口大小特征 - 活动和空闲时间特征 ... 以及其他 69 个特征 这些特征描述了网络流的统计特征。 ### 提议的 HTRE 特征 为了改进时间异常检测，引入了几个工程化的时间特征。 | 特征 | 用途 | |----------|---------| | TRE_LogFlowBytes | 流字节的_log 表示，以减少尺度差异 | | TRE_LogFlowBytsChange | 捕获传输字节的时间变化 | | TRE_FlowRate | 表示归一化的流量流速率 | | TRE_PacketRate | 对数据包传输动态进行建模 | | TRE_BurstScore | 捕获突发流量行为 | | TRE_IATVariation | 测量数据包到达时间间隔的时间变化 | 这些工程化特征使 Transformer 能够比仅使用原始流统计数据更有效地学习时间关系。 # 阶段 3 — 基于 Transformer 的时间异常检测 核心 IDS 基于适用于网络入侵检测的 Transformer 架构。 ## 检测 Pipeline ``` Input Features │ ▼ Feature Normalization │ ▼ HTRE Feature Integration │ ▼ Feature Embedding │ ▼ Positional Encoding │ ▼ Multi-Head Self Attention │ ▼ Feed Forward Network │ ▼ Dropout & Layer Normalization │ ▼ Dense Classification Layer │ ▼ Softmax Output │ ▼ Attack Prediction ``` ### Transformer 组件 该模型包括： - 输入 embedding - 位置编码 - 多头自注意力 - 前馈神经网络 - 层归一化 - Dropout 正则化 - 密集分类层 - Softmax 输出层 自注意力机制使模型能够捕获网络流量中的长距离依赖关系和时间关系。 # 阶段 4 — 使用 SHAP 的可解释 AI 深度学习模型通常作为黑盒运行。 为了提高可解释性，框架中集成了 SHAP (SHapley Additive exPlanations)。 可解释性模块提供： - 全局特征重要性 - 基于类别的特征重要性 - 局部预测解释 - 每个检测到的攻击的最具影响力特征 生成的输出包括： - SHAP 摘要图 - 特征重要性 CSV 文件 - 基于类别的重要性排名 - 局部特征贡献分析 这使分析师能够理解为何会产生特定的攻击预测。 # 威胁情报框架 该框架没有止步于攻击分类，而是将 IDS 预测转化为可操作的网络威胁情报。 ## 威胁情报 Pipeline ``` Predicted Attack │ ▼ Knowledge Base Lookup │ ▼ Severity Assessment │ ▼ Risk Score Calculation │ ▼ Risk Classification │ ▼ Priority Assignment │ ▼ MITRE ATT&CK Mapping │ ▼ Security Recommendations │ ▼ Threat Assessment Report ``` 生成的报告包括： - 预测的攻击 - 置信度得分 - 攻击类别 - 攻击描述 - 最具影响力的 SHAP 特征 - 威胁严重性 - 风险得分 - 风险级别 - 优先级级别 - MITRE ATT&CK 映射 - 建议的缓解措施 # 威胁报告示例 ``` Prediction : SQL Injection Confidence (%) : 96.8 Category : Web Application Attack Description : An attack that injects malicious SQL statements into application inputs to manipulate backend databases. Top Influential Features • Fwd Pkt Len Mean • Fwd Seg Size Min • TRE_LogFlowBytsChange • Init Bwd Win Byts • Fwd Pkt Len Max Severity : Critical Risk Score : 96.8 Risk Level : Critical Priority : P1 MITRE ATT&CK : T1190 - Exploit Public-Facing Application (Initial Access) Recommendations 1. Inspect web server logs. 2. Validate application input filtering. 3. Apply security patches. 4. Deploy or update Web Application Firewall (WAF) rules. ``` # 主要贡献 提议的框架引入了多项贡献： - 基于 Transformer 的时间入侵检测 - 混合时间表示工程 (HTRE) - 增强的时间特征表示 - 用于 IDS 的基于 SHAP 的可解释 AI - 基于类别的特征归因 - 自动化威胁情报生成 - MITRE ATT&CK 集成 - 基于风险的攻击优先级划分 - 自动化安全建议 - 人类可读的威胁评估报告 # 仓库结构 ``` . │ ├── notebooks/ │ ├── 01_Transformer_IDS.ipynb │ └── 02_Threat_Intelligence.ipynb │ ├── outputs/ │ ├── global_shap_importance.csv │ ├── classwise_shap_importance.csv │ ├── shap_summary.png │ └── threat_report_example.txt │ ├── requirements.txt │ └── README.md ``` # 使用的技术 - Python - TensorFlow / Keras - NumPy - Pandas - Scikit-learn - SHAP - Matplotlib - Seaborn # 安装说明 ``` git clone cd pip install -r requirements.txt ``` # 许可证 本项目仅供学术研究和教育目的使用。 # 引用 如果您在研究中使用了这项工作，请引用相关论文或未来的出版物。

标签：逆向工具