adhacks541/aegis-threat-platform

# 🛡️ Aegis – 智能 SIEM 与威胁响应平台 **Aegis** 是一个为现代威胁检测而构建的生产级安全信息和事件管理 (SIEM) 系统。它将高性能日志摄取、基于规则的检测、无监督机器学习和自动化事件响应统一到一个可扩展的平台中。  ## 🚀 主要特性 ### 🧠 高级检测引擎 - **混合检测**：结合传统的 **类 Sigma 规则**（用于已知威胁，如 SSH 暴力破解）与 **Isolation Forest ML 模型**（用于零日异常）。 - **关联引擎**：使用 Redis 对多阶段攻击（例如，暴力破解 → 成功登录 → 权限提升）进行有状态跟踪。 - **可解释 AI**：每个 ML 异常都附带人类可读的解释（例如，“异常时间段”、“异常消息大小”）。 ### 🛡️ 自动化响应 (SOAR) - **主动防御**：自动阻止触发严重警报或高风险评分 (> 80) 的 IP。 - **动态风险评分**：根据警报严重程度 + ML 置信度 + 关联上下文计算风险。 - **故障安全**：内置白名单和阻止自动过期机制，防止自我锁定。 ### 📊 SOC 仪表盘 - **实时监控**：通过现代 Next.js UI 实时推送日志、警报和事件。 - **赛博朋克体验**：完全沉浸式的科幻主题界面，具有全息效果、复古终端日志和实时系统状态指示器。 - **调查**：结合丰富上下文（GeoIP, User-Agent）深入分析原始日志。 - **事件管理**：跟踪关联的攻击链。 ### ⚡ 高性能架构 - **摄取**：FastAPI + Redis Streams 用于缓冲高吞吐量流量。 - **丰富**：异步 Worker 流水线为每条日志添加上下文（GeoIP, Threat Intel）。 - **存储**：Elasticsearch 配备索引生命周期管理 (ILM)，实现高效的 Hot-Warm-Cold 存储。 ## 🛠️ 技术栈 | 组件 | 技术 | 用途 | | :--- | :--- | :--- | | **Frontend** | Next.js 14, React, Tailwind | SOC 仪表盘 | | **Backend API** | Python (FastAPI) | 日志摄取与查询 API | | **Processing** | Python Async Workers | ETL, 检测, 关联 | | **Stream Buffer** | Redis Streams | 解耦摄取与处理 | | **State Store** | Redis | 风险评分, 会话跟踪, 阻止 | | **Log Storage** | Elasticsearch 8.x | 搜索与分析 | | **ML** | Scikit-Learn | 无监督异常检测 | ## ⚡ 快速开始 ### 前置条件 - Docker & Docker Compose - Python 3.9+ (用于验证脚本) - Node.js 18+ (用于前端开发) ### 1. 启动堆栈 ``` # 启动所有服务 (Backend, Frontend, DBs) docker-compose up -d --build ``` - **仪表盘**: [http://localhost:3000](http://localhost:3000) (默认) - **API 文档**: [http://localhost:8000/docs](http://localhost:8000/docs) - **Kibana**: [http://localhost:5601](http://localhost:5601) ### 2. 初始化系统 设置 Elasticsearch 模板和索引： ``` docker-compose exec worker python tools/setup_elasticsearch.py ``` ### 3. 验证功能（全系统检查） 运行自动化验证套件以模拟攻击： ``` docker-compose exec worker python tools/verify_full_system.py ``` 此脚本充当 **红队** 模拟器，发起： - **SSH 暴力破解**：触发规则引擎。 - **可疑管理员**：触发手动逻辑与阻止。 - **数据窃取**：触发 ML 异常检测。 - **权限提升**：触发关联引擎。 您应该看到所有检查均显示 **✅ PASS**。 ### 4. 性能基准测试 测试高吞吐量摄取管道 (Redis Streams + FastAPI)： ``` python backend/tools/benchmark_ingest.py ``` 此脚本验证系统处理 **>5,000 EPS (每秒事件数)** 的能力。 ### 5. API 健康检查 验证后端服务的运行状态： ``` curl http://localhost:8000/health ``` 预期输出：`{"status": "healthy", "services": {"api": "online"}}` ## 📂 项目结构 ``` ├── backend/ │ ├── app/ │ │ ├── api/ # FastAPI Routes (Ingest, Dashboard) │ │ ├── services/ # Core Logic: │ │ │ ├── detection_rules.py # Rule Engine │ │ │ ├── detection_ml.py # ML Engine │ │ │ ├── correlation.py # Incident Engine │ │ │ └── response.py # Automated Blocking │ │ └── worker.py # Main Async Processor │ ├── rules/ # Detection Config (YAML) │ ├── tools/ # Verification & Simulation Scripts │ └── train_model.py # ML Training Pipeline ├── frontend/ # Next.js Dashboard ├── docker-compose.yml └── README.md ``` ## 🔮 路线图概览 - [x] **阶段 1-4**: 基础设施, 摄取, & 基础检测 - [x] **阶段 5**: 关联引擎 (多阶段攻击) - [x] **阶段 6**: SOC 仪表盘 (Frontend) - [x] **阶段 10-15**: ML 异常检测 & 自动响应 - [x] **阶段 17**: 全系统验证 & 生产加固 - [x] **阶段 18**: UI/UX 重构原型 (通过 Google Stitch 生成的暗黑赛博朋克美学) - [ ] **阶段 18+**: - [ ] 集成威胁情报源 (VirusTotal, AlienVault) - [ ] 多租户支持 - [ ] PDF 报告模块 ## 📜 许可证 MIT License. 开源安全。

标签：AMSI绕过, Apex, AV绕过, CSV导出, Docker, Elasticsearch, Enrichment, FastAPI, HTTP/HTTPS抓包, OISF, PE 加载器, Python, React, Redis, Redis Streams, Sigma规则, SOAR, Syscalls, 人工智能, 仪表盘, 企业级安全, 关联分析, 威胁情报, 威胁检测, 安全运营中心, 安全防御评估, 封禁IP, 库, 应急响应, 开发者工具, 异常检测, 态势感知, 搜索引擎查询, 攻击溯源, 无后门, 日志管理, 机器学习, 用户模式Hook绕过, 目标导入, 网络安全, 网络映射, 自动化防御, 请求拦截, 逆向工具, 隐私保护, 零日漏洞, 风险评分, 高并发