mayurpatil10001/ELK-APT-Detection-Platform

# 集成 ELK Stack 的 APT 检测系统 ## 2025年印度智慧黑客马拉松 - TechTribe 团队 ### 🎯 **完整解决方案概述** 这款先进的 APT 检测系统**完全满足**了所有规定的要求： ✅ **ELK Stack 集成** - 完整的 Elasticsearch、Logstash、Kibana 集成 ✅ **APT 攻击生命周期检测** - 覆盖全部 8 个阶段 ✅ **威胁规则开发** - 实现了 7+ 条检测规则 ✅ **逼真的 APT 样本** - 基于公开的 APT 仓库 ✅ **多源日志分析** - 终端、网络、服务器 ✅ **实时处理** - 实时威胁检测与关联分析 ## 📋 **需求满足情况验证** ### **1. ELK Stack 实现** - **Elasticsearch**: 针对 APT 日志的自定义 index 映射 (`apt-detection-logs`) - **Logstash**: 完整的配置文件 (`logstash_apt_config.conf`) - **Kibana**: 检测规则与仪表盘 (`kibana_apt_rules.json`) ### **2. APT 攻击生命周期覆盖** | 阶段 | 检测规则 | MITRE ATT&CK | 实现 | |-------|----------------|--------------|----------------| | 侦察 (Reconnaissance) | ✅ 端口扫描、DNS 查询 | TA0043 | `apt-reconnaissance-rule` | | 初始访问 (Initial Access) | ✅ 鱼叉式网络钓鱼、恶意软件 | TA0001 | `apt-initial-compromise-rule` | | 执行 (Execution) | ✅ PowerShell、命令执行 | TA0002 | `apt-powershell-execution-rule` | | 持久化 (Persistence) | ✅ 注册表、计划任务 | TA0003 | `apt-persistence-rule` | | 凭证访问 (Credential Access) | ✅ Mimikatz、LSASS 内存转储 | TA0006 | `apt-credential-dumping-rule` | | 横向移动 (Lateral Movement) | ✅ SMB、RDP、PSExec | TA0008 | `apt-lateral-movement-rule` | | 收集 (Collection) | ✅ 文件枚举、屏幕截图 | TA0009 | 集成于处理流程中 | | 数据窃取 (Exfiltration) | ✅ 数据压缩、大容量传输 | TA0010 | `apt-data-exfiltration-rule` | ### **3. 逼真的 APT 样本** - **APT29 (Cozy Bear)**: 鱼叉式网络钓鱼 → PowerShell → 凭证窃取 → 横向移动 - **APT28 (Fancy Bear)**: 漏洞利用 → 进程注入 → 远程服务 - **Lazarus Group**: 恶意链接 → 用户执行 → C2 通信 ### **4. 多源日志处理** - **Windows 事件日志**: 身份验证、进程创建、网络连接 - **Sysmon 日志**: 详细的进程监控、文件创建、注册表修改 - **网络日志**: 流量分析、DNS 查询、大容量数据传输 - **自定义日志**: 针对 APT 的特定事件关联与分析 ## 🏗️ **系统架构** ``` ┌─────────────────┐ ┌─────────────────┐ ┌─────────────────┐ │ Log Sources │───▶│ Logstash │───▶│ Elasticsearch │ │ • Windows Events│ │ • Parsing │ │ • APT Index │ │ • Sysmon │ │ • Enrichment │ │ • Threat Rules │ │ • Network Logs │ │ • Correlation │ │ • Real-time │ │ • Custom Events │ │ • Risk Scoring │ │ Search │ └─────────────────┘ └─────────────────┘ └─────────────────┘ │ ┌─────────────────┐ ┌─────────────────┐ │ │ Kibana │◀───│ Python APT │◀──────────┘ │ • Dashboards │ │ Detection │ │ • Visualizations│ │ • ML Analysis │ │ • Alerts │ │ • Graph Corr. │ │ • Detection │ │ • Attribution │ │ Rules │ │ • Auto Response │ └─────────────────┘ └─────────────────┘ ``` ## 🔧 **技术实现** ### **核心文件结构** ``` d:\ELK STACK NTRO\ ├── simple_app.py # Main APT detection system ├── elk_integration.py # ELK Stack integration ├── logstash_apt_config.conf # Logstash configuration ├── kibana_apt_rules.json # Kibana detection rules ├── requirements.txt # Python dependencies └── templates/ └── simple_dashboard.html # Web interface ``` ### **核心类与功能** 1. **AdvancedAPTDetector** - 主检测引擎 2. **ELKIntegration** - Elasticsearch/Kibana 集成 3. **APTSampleGenerator** - 逼真的攻击模拟 4. **多阶段行动检测** - APT 生命周期追踪 5. **基于图的关联分析** - 攻击关系映射 6. **基于 ML 的分析** - 异常检测与聚类 7. **自动化响应系统** - 实时威胁缓解 ## 🚀 **部署与使用** ### **1. 前置条件** ``` # 安装 ELK Stack docker-compose up elasticsearch kibana logstash # 安装 Python 依赖 pip install -r requirements.txt ``` ### **2. 启动系统** ``` # 启动 APT 检测系统 python simple_app.py # 访问 Web 界面 http://localhost:5000 # 访问 Kibana 仪表板 http://localhost:5601 ``` ### **3. 生成 APT 攻击** ``` # 通过 API POST /api/generate_realistic_apt { "apt_group": "APT29_Cozy_Bear" } # 通过 Web 界面 Click "Generate APT Attack" button ``` ### **4. 执行检测规则** ``` # 通过 API POST /api/elk_detection_rules # 在 Kibana 中查看 Navigate to Security → Rules ``` ## 📊 **检测能力** ### **实时检测规则** 1. **侦察检测** - 端口扫描、DNS 查询、网络枚举 2. **初始入侵** - 鱼叉式网络钓鱼、恶意软件执行、可疑文件 3. **PowerShell 执行** - 编码命令、绕过技术、下载行为 4. **凭证窃取** - Mimikatz、LSASS 访问、凭证盗取 5. **横向移动** - SMB/RDP 连接、PSExec、远程执行 6. **数据窃取** - 大容量传输、数据压缩、DNS 隧道 7. **持久化机制** - 注册表修改、计划任务 ### **高级分析** - **风险评分** - 自动化威胁等级计算 - **MITRE ATT&CK 映射** - 技术与战术识别 - **地理位置分析** - 外部 IP 威胁评估 - **行为分析** - 用户与主机异常检测 - **归因分析** - APT 组织识别 ## 🎯 **黑客马拉松合规性** ### ✅ **满足所有要求** | 要求 | 实现方式 | 状态 | |-------------|----------------|--------| | ELK Stack 集成 | 包含自定义配置的完整 E-L-K 设置 | ✅ 完成 | | APT 生命周期检测 | 包含 MITRE 映射的 8 阶段覆盖 | ✅ 完成 | | 威胁规则开发 | Kibana 中的 7+ 条检测规则 | ✅ 完成 | | 多源日志分析 | Windows、Sysmon、网络、自定义 | ✅ 完成 | | 逼真的 APT 样本 | APT29、APT28、Lazarus 模拟 | ✅ 完成 | | 实时处理 | 实时检测与关联 | ✅ 完成 | | 高级分析 | ML、图谱关联、归因分析 | ✅ 完成 | ### 🏆 **竞争优势** 1. **完整的 ELK 集成** - 生产级就绪设置 2. **逼真的 APT 模拟** - 基于公开的威胁研究 3. **先进的 ML 分析** - 用于检测的多种算法 4. **实时响应** - 自动化威胁缓解 5. **专业的 UI** - 优雅的网络安全仪表盘 6. **全面的文档** - 详细的实现细节 ## 📈 **演示场景** ### **场景一：APT29 Cozy Bear 攻击** 1. 鱼叉式网络钓鱼邮件检测 2. PowerShell Empire C2 建立 3. 通过 Mimikatz 进行凭证窃取 4. 向域控制器横向移动 5. 数据窃取检测 6. 自动化响应激活 ### **场景二：多阶段行动追踪** 1. 侦察阶段检测 2. 跨主机行动关联 3. 攻击图谱可视化 4. 归因到已知威胁行为者 5. 风险评分升级 6. 告警生成与响应 ### **场景三：实时规则执行** 1. 从多个来源摄取日志 2. Logstash 处理与丰富 3. Elasticsearch 索引与搜索 4. Kibana 规则执行 5. 告警仪表盘更新 6. 自动化响应触发 ## 🎓 **教育价值** 该系统展示了： - **企业级安全架构** - 生产级 ELK 实现 - **威胁情报集成** - 真实的 IOC 关联 - **高级分析** - 基于 ML 和图谱的检测 - **事件响应** - 自动化威胁缓解 - **合规框架** - MITRE ATT&CK 映射 **2025年印度智慧黑客马拉松的完美之选！ 🏆** *TechTribe 团队 - 先进的 APT 检测系统* *集成逼真 APT 模拟的完整 ELK Stack 实现*

标签：APT检测, ELK Stack, 内容过滤, 安全运营, 异常检测, 扫描框架, 请求拦截, 越狱测试, 逆向工具