revanth3205/Intrusion-Detection-System

# 基于 Transformer 时序异常检测的 AI 驱动自适应入侵检测与网络威胁情报框架     ## 概述 现代网络攻击展现出复杂的时序和行为模式，使用传统的基于签名的入侵检测系统 (IDS) 难以进行检测。虽然基于机器学习的 IDS 解决方案提高了检测准确性，但它们通常缺乏可解释性和可操作的威胁情报。 本项目提出了一个 **AI 驱动的自适应入侵检测与网络威胁情报框架**，它结合了： - 基于 Transformer 的时序异常检测 - 混合时序表征工程 (HTRE) - 可解释人工智能 (SHAP) - 自动化威胁情报引擎 该框架不仅可以检测多种类别的网络攻击，还能解释**为什么**会做出特定的预测，并生成由情报驱动的威胁评估，包括： - 威胁严重性 - 风险评分 - MITRE ATT&CK 映射 - 优先级等级 - 安全建议 # 框架架构 ``` CICIDS2018 Dataset │ ▼ Data Preprocessing │ ▼ Hybrid Temporal Representation Engineering (HTRE) │ ▼ Transformer-Based Temporal Anomaly Detection │ ▼ Multi-Class Attack Prediction │ ▼ SHAP Explainability Engine │ ▼ Threat Intelligence Framework │ ▼ Comprehensive Threat Assessment Report ``` # 项目目标 提出的该框架旨在： - 使用 Transformer 架构检测多种类别的网络攻击。 - 通过时序特征工程提高检测准确性。 - 使用 SHAP 提供透明的 AI 预测。 - 将 IDS 预测结果转化为可操作的网络威胁情报。 - 通过自动化的风险评估和缓解建议协助安全分析师。 # 数据集 该框架是使用 **CICIDS2018 数据集** 开发的。 ## 数据集特征 - 真实的企业网络流量 - 良性和恶意的网络流 - 现代攻击场景 - 基于流的统计特征 - 多分类攻击标签 # 攻击类别 | 攻击类型 | |-------------| | Benign | | DDoS | | DoS Hulk | | DoS GoldenEye | | DoS Slowloris | | DoS SlowHTTPTest | | Bot | | FTP-Patator | | SSH-Patator | | PortScan | | Web Attack – Brute Force | | Web Attack – XSS | | Web Attack – SQL Injection | | Heartbleed | | Infiltration | # 提出的方法论 提出的框架由四个主要阶段组成。 ## 阶段 1 — 数据预处理 CICIDS2018 数据集经过预处理，以为深度学习准备高质量的输入。 ### 预处理流水线 - 缺失值处理 - 无穷大值去除 - 重复项去除 - 标签编码 - 特征归一化 - 训练集与测试集划分 ## 阶段 2 — 混合时序表征工程 (HTRE) 该框架不仅依赖于原始的网络流统计数据，还引入了额外的时序表征，以更好地捕获网络行为。 ### 原始网络特征 示例包括： - 流持续时间 - 前向数据包总数 - 后向数据包总数 - 流字节/秒 - 流数据包/秒 - 数据包长度统计 - 到达间隔时间 (IAT) - TCP 标志统计 - 窗口大小特征 - 活动/空闲时间 ...以及另外 69 项流特征。 ### 提出的 HTRE 特征 | 特征 | 描述 | |----------|-------------| | TRE_LogFlowBytes | 流字节数的对数表示 | | TRE_LogFlowBytesChange | 传输字节的时序变化 | | TRE_FlowRate | 归一化的流量速率 | | TRE_PacketRate | 数据包传输动态 | | TRE_BurstScore | 突发行为指示器 | | TRE_IATVariation | 到达间隔时间变化 | 这些工程化特征使得 Transformer 模型能够比仅使用原始流统计数据更有效地学习时序行为。 ## 阶段 3 — 基于 Transformer 的时序异常检测 提出的 IDS 使用了专门针对序列化网络流量分析进行改造的 Transformer 架构。 ### 检测流水线 ``` Input Features │ ▼ Feature Normalization │ ▼ HTRE Feature Integration │ ▼ Feature Embedding │ ▼ Positional Encoding │ ▼ Multi-Head Self Attention │ ▼ Feed Forward Network │ ▼ Dropout + Layer Normalization │ ▼ Dense Classification Layer │ ▼ Softmax Output │ ▼ Attack Prediction ``` ### Transformer 组件 - 特征嵌入 - 位置编码 - 多头自注意力 - 前馈神经网络 - 残差连接 - 层归一化 - Dropout - 密集分类层 - Softmax 输出层 ## 阶段 4 — 可解释 AI (SHAP) 深度学习模型通常被认为是黑盒。 为了提高可解释性，框架中集成了 SHAP (SHapley Additive exPlanations)。 该可解释性模块提供： - 全局特征重要性 - 分类别特征重要性 - 局部预测解释 - 最具影响力的特征 ### 生成的输出 - SHAP 摘要图 - 特征重要性 CSV - 分类别排名 - 局部解释分析 # 威胁情报框架 提出的框架并没有止步于攻击分类，而是将 IDS 的预测结果转化为可操作的网络威胁情报。 ## 威胁情报流水线 ``` Predicted Attack │ ▼ Knowledge Base Lookup │ ▼ Severity Assessment │ ▼ Risk Score Calculation │ ▼ Risk Classification │ ▼ Priority Assignment │ ▼ MITRE ATT&CK Mapping │ ▼ Security Recommendations │ ▼ Threat Assessment Report ``` # 生成的威胁报告 该框架会自动生成： - 预测的攻击 - 置信度得分 - 攻击类别 - 攻击描述 - SHAP 特征解释 - 威胁严重性 - 风险评分 - 风险等级 - 优先级等级 - MITRE ATT&CK 技术 - 建议的缓解措施 ## 威胁报告示例 ``` Prediction : SQL Injection Confidence : 96.8% Category : Web Application Attack Description : SQL statements injected into application inputs to manipulate backend databases. Top SHAP Features • Fwd Packet Length Mean • Fwd Segment Size Min • TRE_LogFlowBytesChange • Init Bwd Window Bytes • Fwd Packet Length Max Severity : Critical Risk Score : 96.8 Risk Level : Critical Priority : P1 MITRE ATT&CK T1190 - Exploit Public-Facing Application Recommendations 1. Inspect web server logs. 2. Validate application input filtering. 3. Apply security patches. 4. Update WAF rules. ``` # 主要贡献 - 基于 Transformer 的入侵检测 - 混合时序表征工程 (HTRE) - 增强的时序特征学习 - 基于 SHAP 的可解释 AI - 分类别特征归因 - 自动化威胁情报生成 - MITRE ATT&CK 集成 - 基于风险的威胁优先级排序 - 自动化安全建议 - 人类可读的威胁评估报告 # 使用的技术 - Python - TensorFlow / Keras - NumPy - Pandas - Scikit-learn - SHAP - Matplotlib - Seaborn # 安装 ``` git clone https://github.com//.git cd pip install -r requirements.txt ``` # 项目结构 ``` ├── Dataset/ ├── notebooks/ │ ├── transformer-model-ids.ipynb │ ├── xai-ids.ipynb │ └── ids-18.ipynb ├── models/ ├── outputs/ │ ├── SHAP/ │ ├── Reports/ │ └── Figures/ ├── requirements.txt └── README.md ``` # 未来工作 - 实时网络流量监控 - 联邦入侵检测 - 图神经网络 - 在线持续学习 - 威胁情报共享 - 与 SIEM 平台集成 # 许可证 本项目仅供**学术研究和教育目的**使用。 # 引用 如果您的研究中使用了本工作，请引用相关论文或未来的出版物。 ``` @misc{AI_IDS_Framework, title={AI-Driven Adaptive Intrusion Detection and Network Threat Intelligence Framework using Transformer-Based Temporal Anomaly Detection}, author={Revanth Kengana}, year={2026} } ``` ## 作者 **Revanth Kengana** 网络安全研究 | 用于网络防御的 AI | 入侵检测 | 可解释 AI

标签：Python, Transformer, 人工智能, 可解释AI, 威胁情报, 开发者工具, 无后门, 用户模式Hook绕过, 网络安全, 逆向工具, 隐私保护