waSmY-2915/Adaptive-AI-Driven-IDS

# 基于 Transformer 时序异常检测的 AI 驱动自适应入侵检测与网络威胁情报框架 ## 概述 网络安全系统面临着日益复杂的攻击，这些攻击展现出复杂的时序和行为模式。传统的基于特征的入侵检测系统 (IDS) 通常无法检测到以前未见的攻击，而许多机器学习方法缺乏可解释性，使得它们在实际运营环境中难以被信任。 本项目提出了一个 **AI 驱动的自适应入侵检测与网络威胁情报框架**，该框架结合了**基于 Transformer 的时序异常检测**、**混合时序表征工程 (HTRE)**、**SHAP 可解释人工智能 (XAI)** 以及自动化的**威胁情报引擎**。 该框架不仅能检测多种类别的网络攻击，还能解释做出预测的原因，并通过上下文威胁情报丰富预测结果，包括严重性评估、MITRE ATT&CK 映射、风险优先级划分和可操作的安全建议。 # 框架概述 ``` CICIDS2018 Dataset │ ▼ Data Preprocessing │ ▼ Hybrid Temporal Representation Engineering (HTRE) │ ▼ Transformer-Based Temporal Anomaly Detection │ ▼ Multi-Class Attack Prediction │ ▼ SHAP Explainability Engine │ ▼ Threat Intelligence Framework │ ▼ Comprehensive Threat Assessment Report ``` # 项目目标 本框架的主要目标是： - 使用基于 Transformer 的架构检测多种类别的网络攻击。 - 通过时序特征工程提升检测能力。 - 使用 SHAP 提供透明且可解释的预测。 - 将原始的 IDS 预测转化为可操作的网络威胁情报。 - 通过自动化的风险评估和响应建议为安全分析师提供支持。 # 数据集 该框架是使用 **CICIDS2018** 数据集开发的。 ### 数据集特征 - 真实的网络流量 - 现代化的攻击场景 - 良性与恶意流量 - 基于流量的网络特征 - 多种攻击类别 ### 攻击类别 - Benign - DDoS - DoS Hulk - DoS GoldenEye - DoS Slowloris - DoS SlowHTTPTest - Bot - FTP-Patator - SSH-Patator - PortScan - Web Attack – Brute Force - Web Attack – XSS - Web Attack – SQL Injection - Heartbleed - Infiltration # 系统架构 ##  # 提出的方法论 拟议的框架由四个主要阶段组成。 ## 阶段 1 — 数据预处理 CICIDS2018 数据集经过预处理，为深度学习准备高质量的输入。 预处理 pipeline 包括： - 缺失值处理 - 无限值去除 - 特征归一化 - 标签编码 - 数据集平衡（如适用） - 训练集与测试集划分 ## 阶段 2 — 混合时序表征工程 (HTRE) 该框架不仅依赖原始的 CICIDS2018 流量特征，还引入了额外的时序表征，以更好地捕获网络行为。 ### 原始网络特征 Transformer 模型利用了 CICIDS2018 提供的原始流级别特征，包括： - Flow Duration - Total Forward Packets - Total Backward Packets - Flow Bytes/s - Flow Packets/s - Packet Length Statistics - Inter Arrival Time (IAT) Features - TCP Flag Features - Window Size Features - Active and Idle Time Features ... 以及其他 69 个特征 这些特征描述了网络流的统计特性。 ### 提出的 HTRE 特征 为了改进时序异常检测，引入了若干经过工程处理的时序特征。 | Feature | Purpose | |----------|---------| | TRE_LogFlowBytes | 流字节数的对数表示，以减少尺度变化 | | TRE_LogFlowBytsChange | 捕获传输字节的时序变化 | | TRE_FlowRate | 表示归一化的流量速率 | | TRE_PacketRate | 对数据包传输动态进行建模 | | TRE_BurstScore | 捕获突发流量行为 | | TRE_IATVariation | 测量数据包到达间隔时间的时序变化 | 这些工程化特征使得 Transformer 能够比仅使用原始流量统计数据更有效地学习时序关系。 # 阶段 3 — 基于 Transformer 的时序异常检测 核心 IDS 基于适配于网络入侵检测的 Transformer 架构。 ## 检测 Pipeline ``` Input Features │ ▼ Feature Normalization │ ▼ HTRE Feature Integration │ ▼ Feature Embedding │ ▼ Positional Encoding │ ▼ Multi-Head Self Attention │ ▼ Feed Forward Network │ ▼ Dropout & Layer Normalization │ ▼ Dense Classification Layer │ ▼ Softmax Output │ ▼ Attack Prediction ``` ### Transformer 组件 该模型包括： - 输入嵌入 - 位置编码 - 多头自注意力机制 - 前馈神经网络 - 层归一化 - Dropout 正则化 - 密集分类层 - Softmax 输出层 自注意力机制使模型能够捕获网络流量内的长距离依赖关系和时序关系。 # 阶段 4 — 使用 SHAP 的可解释 AI 深度学习模型通常以黑盒形式运行。 为了提高可解释性，框架中集成了 SHAP (SHapley Additive exPlanations)。 可解释性模块提供： - 全局特征重要性 - 基于类别的特征重要性 - 局部预测解释 - 每种检测到的攻击的最具影响力特征 生成的输出包括： - SHAP 摘要图 - 特征重要性 CSV 文件 - 基于类别的重要性排名 - 局部特征贡献分析 这使分析师能够理解产生特定攻击预测的原因。 # 威胁情报框架 该框架并未止步于攻击分类，而是将 IDS 预测转化为可操作的网络威胁情报。 ## 威胁情报 Pipeline ``` Predicted Attack │ ▼ Knowledge Base Lookup │ ▼ Severity Assessment │ ▼ Risk Score Calculation │ ▼ Risk Classification │ ▼ Priority Assignment │ ▼ MITRE ATT&CK Mapping │ ▼ Security Recommendations │ ▼ Threat Assessment Report ``` 生成的报告包括： - 预测的攻击 - 置信度分数 - 攻击类别 - 攻击描述 - 最具影响力的 SHAP 特征 - 威胁严重性 - 风险评分 - 风险等级 - 优先级等级 - MITRE ATT&CK 映射 - 建议的缓解措施 # 威胁报告示例 ``` Prediction : SQL Injection Confidence (%) : 96.8 Category : Web Application Attack Description : An attack that injects malicious SQL statements into application inputs to manipulate backend databases. Top Influential Features • Fwd Pkt Len Mean • Fwd Seg Size Min • TRE_LogFlowBytsChange • Init Bwd Win Byts • Fwd Pkt Len Max Severity : Critical Risk Score : 96.8 Risk Level : Critical Priority : P1 MITRE ATT&CK : T1190 - Exploit Public-Facing Application (Initial Access) Recommendations 1. Inspect web server logs. 2. Validate application input filtering. 3. Apply security patches. 4. Deploy or update Web Application Firewall (WAF) rules. ``` # 主要贡献 拟议的框架引入了以下几项贡献： - 基于 Transformer 的时序入侵检测 - 混合时序表征工程 (HTRE) - 增强的时序特征表示 - 用于 IDS 的基于 SHAP 的可解释 AI - 基于类别的特征归因 - 自动化威胁情报生成 - MITRE ATT&CK 集成 - 基于风险的攻击优先级划分 - 自动化安全建议 - 易读的威胁评估报告 # 使用的技术 - Python - TensorFlow / Keras - NumPy - Pandas - Scikit-learn - SHAP - Matplotlib - Seaborn # 安装说明 ``` git clone cd pip install -r requirements.txt ``` # 许可证 本项目仅供学术研究和教育目的使用。 # 引用 如果您在研究中使用了本工作，请引用相关论文或未来的出版物。

标签：Transformer, 人工智能, 可解释AI, 威胁情报, 开发者工具, 异常检测, 用户模式Hook绕过, 网络安全, 逆向工具, 隐私保护