Fy1zN/Sentinel-X

## 📌 概述 SentinelX 是一个全栈实时网络安全情报和 SOC 模拟平台，专为威胁监控、IOC 调查、网络威胁分析和情报报告而构建。 该平台将基于 100 万+ 真实网络流量训练的 **机器学习威胁分类**、多个威胁情报 API、实时 IOC 分析、风险评分、MITRE ATT&CK 映射、由 WebSocket 驱动的遥测、分析仪表板、监控列表监控以及自动化 PDF 情报报告集成到一个统一的 SOC 风格环境中。 SentinelX 模拟了企业网络安全基础设施中使用的真实安全运营中心 (SOC) 工作流程。 ## 🤖 基于 ML 的威胁检测（新增） SentinelX 现在包含一个 **混合 XGBoost 机器学习 pipeline**，用于自主 IOC 威胁分类。 ### 模型详情 | 属性 | 值 | |---|---| | 模型 | XGBoost 分类器 | | 训练数据集 | CICIDS 2017 + 2018 (合并) | | 训练样本 | 1,041,269 条网络流量 | | 测试准确率 | **96.84%** | | ROC-AUC 分数 | **0.9876** | | F1 分数 | **0.9262** | | 特征 | 20 个网络流量特征 | | 误报减少 | 相比基于规则的基线减少 68% | ### 工作原理 ``` IOC Submitted │ ▼ Threat Intel APIs (VirusTotal + AbuseIPDB + OTX + MalwareBazaar + URLHaus) │ ▼ Feature Extraction (22 features mapped from API signals) │ ▼ XGBoost ML Model → Raw Malicious Probability (0–1) │ ▼ Hybrid Override Layer (definitive API signals boost score) │ ▼ Final Score + Severity + Confidence + AI Reasoning ``` ### 混合评分规则 | 信号 | 分数覆盖 | |---|---| | 命中 MalwareBazaar 或 URLHaus | 97% → CRITICAL | | AbuseIPDB ≥ 90% + Tor exit node | 92% → CRITICAL | | AbuseIPDB ≥ 90% | 88% → CRITICAL | | VirusTotal ≥ 20 个恶意引擎 | 90% → CRITICAL | | VirusTotal ≥ 10 个恶意引擎 | 75% → HIGH | | 所有来源均无异常 | 上限为 15% → LOW | ### ML 输出字段 每次 IOC 搜索现在都会返回： ``` { "ml_score": 0.92, "ml_score_pct": 92, "fp_probability": 0.08, "fp_probability_pct": 8, "severity": "critical", "confidence": "Very High", "reasoning": "IOC '185.220.101.47' classified as MALICIOUS with 92% confidence. AbuseIPDB: 100% abuse confidence — 539 reports. ISP is a known Tor exit node. VirusTotal: 15 engines flagged as malicious.", "top_signals": [...], "model_used": "xgboost_cicids" } ``` ## ✨ 核心功能 ✅ **基于 ML 的 IOC 威胁分类** (XGBoost，准确率 96.84%) ✅ **AI 推理轨迹**（对每个决策进行通俗易懂的解释） ✅ **混合威胁评分**（ML + 直接 API 信号覆盖） ✅ IOC 情报引擎 (IP、Domain、URL、Hash、Email) ✅ 威胁关联系统 ✅ MITRE ATT&CK 映射 ✅ 实时 WebSocket 遥测 ✅ SOC 分析仪表板 ✅ 威胁情报 API 集成（5 个来源） ✅ 监控列表监控系统 ✅ PDF 情报报告 ✅ 实时威胁活动流 ✅ 威胁严重性分类 ✅ 历史 IOC 跟踪 ✅ 多源威胁聚合 ## ⚡ 技术栈 ### 前端 - **Next.js** — 带有 App Router 的 React 框架 - **TypeScript** — 类型安全的开发 - **Tailwind CSS** — 实用优先的样式 - **Framer Motion** — 动画 - **Recharts** — 分析图表 - **ShadCN UI** — 组件库 - **Lucide Icons** — 图标集 ### 后端 - **FastAPI** — REST + WebSocket API 服务器 - **Python 3.11** — 核心语言 - **SQLAlchemy** — ORM - **WebSockets** — 实时遥测 - **JWT + OAuth2** — 身份验证 - **ReportLab** — PDF 生成 ### 机器学习 - **XGBoost** — 梯度提升分类器 - **scikit-learn** — 预处理 + 评估 - **pandas / numpy** — 数据工程 - **SHAP** — 模型可解释性 - **CICIDS 2017+2018** — 训练数据集 (2.4GB，100 万+ 流量) ### 数据库 - **PostgreSQL** — 主数据库 ### 威胁情报 API - VirusTotal API - AlienVault OTX API - MalwareBazaar API - URLHaus API - AbuseIPDB API - NVD CVE API ## 🏗️ 架构 ``` ┌─────────────────────────────────────────┐ │ Frontend │ │ Next.js + TSX │ │ IOC Search │ Analytics │ Watchlists │ └──────────────────┬──────────────────────┘ │ REST API + WebSockets ┌──────────────────▼──────────────────────┐ │ Backend │ │ FastAPI + SQLAlchemy │ └──────────────────┬──────────────────────┘ │ ┌─────────────▼─────────────┐ │ ML Triage Layer │ │ XGBoost + Hybrid Override│ │ 96.84% accuracy │ └─────────────┬─────────────┘ │ ┌─────────────▼─────────────┐ │ PostgreSQL │ │ Database │ └─────────────┬─────────────┘ │ ┌──────────────────▼────────────────────────────────┐ │ Threat Intelligence APIs │ │ VirusTotal • OTX • MalwareBazaar • URLHaus │ │ AbuseIPDB • NVD CVE │ └───────────────────────────────────────────────────┘ ``` ## 🛰️ 威胁情报模块 ### IOC 情报引擎 分析： - IP 地址 - Domains - URLs - 恶意软件 Hash (MD5, SHA1, SHA256) - Email 指标 功能： - **ML 威胁评分 (XGBoost)** - **AI 推理轨迹** - 来自 5 个来源的 IOC 扩展 - 地理情报 - IOC 历史跟踪 - 多源情报聚合 ### 🧠 威胁关联引擎 使用以下内容关联指标： - IOC 相似性分析 - 基于规则的攻击映射 - 威胁聚合逻辑 - MITRE ATT&CK 技术 - 严重性推断 ### 🔴 实时 WebSocket 遥测 支持以下功能的实时基础设施： - 实时 SOC 活动流 - 即时 IOC 广播 - 实时遥测流 - 仪表板同步 - 事件广播架构 ### 📊 SOC 分析仪表板 实时网络安全分析： - 威胁分布 - IOC 严重性分析 - 攻击类别可视化 - 基于国家的威胁分析 - 24 小时活动监控 - 动态图表渲染 ### 🛡️ 监控列表监控 跟踪可疑基础设施和恶意指标： - 添加/删除 IOC 监控列表 - 激活/非激活监控 - 持久化 IOC 跟踪 - 威胁匹配检查 ### 📄 情报报告 生成可下载的报告，包括： - IOC 详情 + ML 威胁分数 - AI 推理轨迹 - 威胁严重性评分 - MITRE ATT&CK 映射 - 威胁情报来源 - 分析师笔记 导出：**PDF 情报报告** ## 🚀 安装说明 ### 1. 克隆仓库 ``` git clone https://github.com/Fy1zN/Sentinel-X.git cd Sentinel-X ``` ### 2. 前端设置 ``` npm install npm run dev # 运行在 http://localhost:3000 ``` ### 3. 后端设置 ``` cd backend python -m venv venv # Windows venv\Scripts\activate pip install -r requirements.txt uvicorn app.main:app --reload # 运行在 http://127.0.0.1:8000 ``` ### 4. ML 模型设置 XGBoost 模型文件放在 `backend/ml/` 中： ``` backend/ml/ ├── model.pkl ← trained XGBoost model ├── scaler.pkl ← StandardScaler └── feature_names.json ← feature list ``` 要在 CICIDS 2017+2018 上重新训练模型： ``` # 在 Google Colab 中 — 见 ml/train.py python ml/train.py ``` ## 🔐 环境变量 创建 `backend/.env`： ``` # 数据库 DATABASE_URL=postgresql://username:password@localhost/sentinelx # Threat Intelligence APIs VIRUSTOTAL_API_KEY=your_key OTX_API_KEY=your_key ABUSEIPDB_API_KEY=your_key # 认证 JWT_SECRET_KEY=your_secret ``` ## 📚 API 文档 FastAPI Swagger 文档： ``` http://127.0.0.1:8000/docs ``` ## 🎯 项目亮点 - **ML 威胁分类** — 在 100 万+ 真实 CICIDS 流量上训练的 XGBoost - 在留出测试集上达到 **96.84% 准确率** - **AI 推理** — 对每个 IOC 判定提供通俗易懂的解释 - **混合评分** — ML + 明确的 API 信号覆盖 - 全栈网络安全平台 - 实时 SOC 模拟架构 - 企业级仪表板设计 - 由 WebSocket 驱动的遥测 - MITRE ATT&CK 集成 - 来自 5 个 API 的威胁情报聚合 - PDF 情报报告 - IOC 调查工作流程 ## 🔮 未来增强功能 - [ ] LangGraph AI 调查 agent - [ ] SIEM 集成 (Splunk, Microsoft Sentinel) - [ ] Sigma 规则生成 - [ ] STIX/TAXII 支持 - [ ] 威胁行为者归因 - [ ] 恶意软件沙箱集成 - [ ] 实时威胁通知 - [ ] Docker 部署 - [ ] Kubernetes 编排 - [ ] RBAC 授权 - [ ] 微调 LLM 以生成 SOC 报告 - [ ] 行为生物特征持续身份验证 ## 🛡️ 安全功能 - JWT 身份验证 - OAuth2 身份验证 - 基于 ML 的 IOC 风险评分 - 威胁情报聚合 - 实时 WebSocket 监控 - 持久化调查日志记录 - SOC 风格威胁监控 - 减少误报（相比基线减少 68%） ## 💡 使用场景 SentinelX 可用于： - SOC 工作流程模拟 - 网络安全毕业设计/顶点项目 - 威胁情报演示 - 蓝队环境 - IOC 调查 - 安全研究 - 网络安全黑客马拉松 - ML 在网络安全中的研究 - 威胁分析演示 ## 👨‍💻 作者 **Krish Malhotra** 网络安全 • 威胁情报 • AI/ML • 全栈开发 GitHub: [https://github.com/Fy1zN](https://github.com/Fy1zN) ## 📜 许可证 该项目基于 **MIT License** 授权。

标签：Apex, AV绕过, FastAPI, 威胁情报, 安全运营中心(SOC), 开发者工具, 机器学习, 测试用例, 逆向工具