2300031984/AI-Cybersecurity-SOC-Automation-Platform

# AI 网络安全威胁情报与 SOC 自动化平台 (v2.0 - 第 4 阶段) [](https://fastapi.tiangolo.com) [](https://streamlit.io) [](https://n8n.io) [](https://ai.google.dev) [](https://www.postgresql.org) [](https://www.docker.com) [](LICENSE) 一个企业级、由 AI 驱动的安全运营中心 (SOC) 自动化平台，结合了威胁情报、SOAR 自动化、漏洞管理和 AI 驱动的安全分析。 该平台可自动收集漏洞、丰富威胁情报、计算风险、生成安全报告，并提供实时的 SOC 警报。通过聚合实时的威胁数据源（NVD CVE 注册表、CISA KEV 目录、EPSS 可能性指数），它执行行级别的租户隔离，并提供由 AI 驱动的高级修复 playbook 和安全聊天功能。 ## 🏗️ 架构 ### 核心组件 - **FastAPI 后端**：为 REST API、数据库编排和 copilot 计算提供支持。 - **PostgreSQL 数据库**：用于安全存储威胁、指标、日志和用户元数据。 - **Streamlit SOC 仪表盘**：单页式可视化分析师工作区。 - **n8n SOAR 自动化引擎**：用于触发威胁同步运行和警报 webhook 的自动化编排器。 - **Gemini AI 安全 Copilot**：运行补丁优先级排序、playbook 合成和 chatbot RAG 的 AI 引擎。 - **威胁情报 API**：实时遥测数据源查询。 ### 系统图 ``` Threat Sources │ ▼ NVD / EPSS / CISA KEV / VirusTotal / AbuseIPDB │ ▼ n8n Automation │ ▼ FastAPI Backend │ ▼ PostgreSQL │ ▼ Streamlit Dashboard ``` 详细的图表和可视化流程（ER schema、时序图、用例）可在 [架构文档](docs/architecture.md) 中查看。 ## 🚀 核心功能 ### 威胁情报与 SOAR * **多租户隔离**：使用 SQLAlchemy 查询过滤器实现严格的行级数据库隔离。登录到不同公司（Microsoft、Amazon、TCS、Deloitte、Infosys）的用户只能访问特定于组织的漏洞列表。 * **漏洞数据标准化**：完全标准化的 PostgreSQL schema，将漏洞、产品、供应商、CISA KEV 详细信息和 EPSS 分数映射到组织资产。 * **IOC 丰富数据源**：与 VirusTotal、AbuseIPDB、URLhaus 和 AlienVault OTX 对接，对 IP、哈希、域名和 URL 执行信誉查询（如果缺少密钥，则自动回退到模拟数据）。 * **实时 NVD 解析器**：动态地从官方 NVD API 获取并保存未索引的 CVE 配置文件。 * **MITRE ATT&CK 映射**：将漏洞暴露映射到已知的对抗技术。 ### AI 与安全 Copilot * **AI 安全 Copilot (LangChain RAG)**：具有由 LangChain 驱动的对话式安全助手。它能动态地将自然语言查询转换为安全的 SQL SELECT 查询，维护线程记忆，并显示 SQL 编译日志。 * **AI 补丁优先级排序**：根据 CVSS 严重性、CISA KEV 漏洞利用状态和 EPSS 漏洞利用概率分数，自动对组织漏洞暴露进行优先级排序和排名。 * **AI 事件响应 Playbook 编译器**：即时编译包含即时缓解说明、Snort 防火墙规则和 Splunk SPL 查询的遏制 playbook。 ### 企业安全 * **JWT RBAC 授权**：强制执行角色限制，支持 `Admin`（同步控制、日志）、`Analyst`（AI 报告、聊天）、`Manager`（补丁计划、playbook）和 `Viewer`（只读统计信息）。 * **审计日志**：将管理历史记录视图限制为 `Admin` 用户，并将所有操作记录在账本中。 ## 🛠️ 技术栈 - **后端**：FastAPI, SQLAlchemy, Python 3.11, Pydantic v2 - **自动化**：n8n SOAR - **AI 引擎**：Google Gemini 2.5 Flash, LangChain, RAG - **仪表盘**：Streamlit（多页面配置）, Plotly Express - **数据库**：PostgreSQL 15, SQL DDL（带有 SQLite 测试回退） - **数据源与集成**：NVD, EPSS, CISA KEV, MITRE ATT&CK, VirusTotal, AbuseIPDB - **容器化**：Docker, Docker Compose - **文档与资产**：Markdown, Mermaid, FPDF2 ## 📦 运行项目 ### 前置条件 * 已安装 Docker 和 Docker Compose。 * Google Gemini API 密钥（可选；如果缺失，使用回退模拟）。 ### 设置说明 1. **克隆** 仓库： git clone https://github.com/2300031984/AI-Cybersecurity-SOC-Automation-Platform.git 2. 通过将 `.env.example` 复制到 `.env` 来 **配置** 环境参数： cp .env.example .env 3. **编辑** `.env` 并填入您的密钥： GEMINI_API_KEY=AIzaSy... VIRUSTOTAL_API_KEY=... ABUSEIPDB_API_KEY=... 4. **启动** 多容器 stack： docker compose up --build -d ### 访问端口与服务 * **Streamlit Web 界面**：[http://localhost:8501](http://localhost:8501) * **FastAPI API Swagger 文档**：[http://localhost:8000/docs](http://localhost:8000/docs) * **n8n 工作流面板**：[http://localhost:5678](http://localhost:5678) ## 👥 预置租户用户配置 使用这些预定义的凭据登录 Streamlit 仪表盘： | 租户 | 用户名 | 密码 | 角色 | 权限配置 | | :--- | :-------- | :--------- | :--- | :------------------ | | **Microsoft** | `admin` | `admin123` | **Admin** | 完全访问权限、数据库触发收集器同步、日志 | | **Microsoft** | `analyst` | `analyst123`| **Analyst** | 触发 AI 报告、使用 RAG 聊天助手 | | **Microsoft** | `manager` | `manager123`| **Manager** | 查看统计信息、运行补丁优先级和 playbook | | **Microsoft** | `viewer` | `viewer123`| **Viewer** | 只读统计表和指标仪表盘 | | **Amazon** | `amazon_analyst` | `analyst123` | **Analyst** | 访问 Amazon 特定的威胁源和 RAG Copilot | | **Amazon** | `amazon_viewer` | `viewer123` | **Viewer** | 仅限 Amazon 的只读统计表和指标 | ## 📄 项目状态 ### 已完成 - **第 1 阶段**：架构设计与组件沙盒设置 - **第 2 阶段**：威胁情报源收集器与 NVD API - **第 3 阶段**：SOAR 自动化与 n8n 触发器 webhook - **第 4 阶段**：AI 风险分析与 Playbook 编译器 - **第 5 阶段**：具有交互式小部件和图表的 SOC 仪表盘 - **第 6 阶段**：企业安全集成（JWT、RBAC、行隔离） - **第 7 阶段**：Pytest 测试套件验证 **状态**：可用于生产的 SOC 自动化平台 ## 📄 许可证 在 MIT 许可证下分发。请查看 [LICENSE](LICENSE) 了解更多信息。

标签：AI安全分析, AV绕过, CISA项目, FastAPI, GPT, Kubernetes, PostgreSQL, SOAR, Streamlit, 威胁情报, 安全运营, 开发者工具, 扫描框架, 测试用例, 漏洞管理, 版权保护, 访问控制, 请求拦截, 逆向工具