spoortikatti24/autonomous-ai-soc-analyst

# 自主 AI SOC 分析师平台 [](#) [](https://python.org) [](https://fastapi.tiangolo.com) [](https://nextjs.org) [](https://docker.com) [](LICENSE) 一个企业级、全栈 AI 网络安全平台，能够接入多源安全遥测数据，使用混合引擎（Sigma 规则 + ML 异常检测 + IOC 威胁情报）检测威胁，将告警关联为统一事件，将证据映射到 MITRE ATT&CK，脱敏 PII/密钥，并利用检索增强生成（RAG）生成有理有据的、可供分析师直接使用的调查简报。 ## 🎯 简历包装与亮点 ### 简历要点 - **构建了一个自主 AI SOC 分析师平台**，可接入多源安全遥测数据（Windows、Linux、DNS、CloudTrail），将告警关联为事件，将行为映射到 MITRE ATT&CK，并生成分析师级的调查报告。 - **实现了混合威胁检测**，采用 Sigma 风格的 YAML 规则、IOC 威胁情报匹配、Isolation Forest / 统计 ML 异常检测，以及上下文资产关键性评分。 - **开发了 RAG 知识库**，对 MITRE ATT&CK、NIST SP 800-61 事件响应指南和 SOC 操作手册进行索引，以通过明确的引用来支撑 AI 的遏制建议。 - **设计了安全的平台控制措施**，包括基于 RBAC 的 JWT 认证、审计日志、速率限制、PII/密钥脱敏、提示注入防御以及 Docker 化部署。 - **创建了攻击模拟与评估框架**，用于衡量检测精确率（100%）、召回率（80%）、F1 分数（88.89%）和平均检测时间（MTTD < 0.001s）。 ## 🏗️ 架构与流水线概述 ``` [ Log Sources ] -----> [ ECS Normalizer ] -----> [ Hybrid Detection Engine ] (Win/Linux/DNS/Cloud) (Event Schema) ├── Sigma YAML Rules ├── IOC Threat Intel Matcher └── ML Anomaly Detector (Z-Score/Entropy) │ [ SOC Console ] <----- [ AI Investigation Agent ] <----- [ Risk Correlator & PII Redactor ] (Next.js 15) ├── Grounded RAG (MITRE/NIST) ├── Prompt Guard Isolator └── Executive Brief Generator └── Asset Criticality Multiplier ``` ## 🔥 核心能力 ### 1. 遥测接入与 ECS 规范化 - 支持 Windows 事件日志（事件 ID 4625、4672、4104）、Linux 身份验证日志、DNS 查询日志和 AWS CloudTrail 审计日志。 - 将不同的 schema 规范化为 Elastic Common Schema (ECS) 格式（`timestamp`、`event_category`、`user_name`、`source_ip`、`host_name`、`process_command_line`、`severity_score`）。 ### 2. 混合威胁检测引擎 - **Sigma YAML 解析器**：跨日志流评估 Sigma 规则（PowerShell 滥用、暴力破解、权限提升、DNS 隧道、云密钥滥用）。 - **ML 异常检测器**：测量命令行的香农熵，并计算统计 Z-score 突发频率以发现零日行为。 - **IOC 威胁情报匹配器**：将恶意 IP、C2 域名和文件哈希与威胁情报源进行匹配。 ### 3. Agentic AI 分诊与 Grounded RAG - 自动将单个日志事件关联为基于主机/用户范围的 Incident。 - **RAG 知识库**：对 MITRE ATT&CK 技术、NIST SP 800-61 操作手册和 CVE 参考资料进行索引，以提供有理有据的引用。 - **分析师调查简报**：生成执行摘要、按时间顺序排列的时间线、根因分析以及可操作的遏制步骤。 ### 4. 安全软件工程 - **PII 与密钥脱敏引擎**：在提交给 LLM 之前，自动脱敏 JWT token、API 密钥、密码、电子邮件地址和内部 IP 范围。 - **提示注入防御**：使用 Regex 模式匹配过滤不受信任的日志文本，并将 payload 限制在严格的 XML 边界内。 - **JWT 与基于角色的访问控制**：强制执行 `SOC_ANALYST`、`TIER_2_INVESTIGATOR` 和 `SOC_ADMIN` 角色。 ### 5. 攻击模拟实验室与评估框架 - 内置模拟场景：**暴力破解**、**钓鱼 Payload**、**PowerShell 内存滥用**、**DNS 隧道 C2**、**Sudo 权限提升**和 **AWS IAM 密钥滥用**。 - 自动化评估运行器，计算 **精确率**、**召回率**、**F1 分数**和 **MTTD**。 ## ⚡ 快速开始 ### 1. 运行 Python 示例分析 ``` python backend/scripts/run_sample_analysis.py ``` *输出：* ``` [*] Loading synthetic attack telemetry... [+] Successfully normalized 8 events into ECS schema. [+] Detections triggered: 3 (Sigma + ML + IOC) [+] Correlated Incidents: 1 (INC-2026-2622) ### 🛡️ Autonomous AI SOC Analyst 调查简报 ... ``` ### 2. 运行评估基准测试 ``` python backend/scripts/run_evaluation.py ``` *输出：* ``` ================================================== Total Scenarios Evaluated: 5 Total Synthetic Events: 9 True Positives (TP): 4 False Positives (FP): 0 False Negatives (FN): 1 Precision Score: 100.00% Recall Score: 80.00% F1-Score: 88.89% Mean Time To Detect (MTTD):0.0000s ================================================== ``` ### 3. 启动 Docker Compose 技术栈 ``` docker-compose up --build ``` - **后端 API**：`http://localhost:8000/docs` - **Next.js 仪表盘**：`http://localhost:3000` ## 📁 仓库结构 ``` . ├── backend/ │ ├── app/ │ │ ├── api/ # FastAPI routes (auth, telemetry, incidents, RAG, simulation) │ │ ├── core/ # Detection engine, ML anomaly, PII redactor, Prompt guard, RAG │ │ └── main.py # Application entry point │ ├── scripts/ # Runnable analysis & benchmark scripts │ └── tests/ # pytest suite ├── frontend/ # Next.js 15 dark-mode SOC Console dashboard ├── rules/sigma/ # Sigma-style detection rules (YAML) ├── data/knowledge/ # RAG knowledge base datasets (MITRE ATT&CK, NIST SP 800-61) ├── docs/ # Architecture diagrams and security threat model └── docker-compose.yml # Container orchestration stack ``` ## 📜 许可证 基于 [MIT License](LICENSE) 授权。

标签：AMSI绕过, AV绕过, C2, DLL 劫持, FastAPI, SOC分析, 大语言模型, 威胁检测, 安全运营, 扫描框架, 请求拦截, 逆向工具