AnilDamodara/Containerized-SOAR-Platform-using-TheHive-and-Cortex

# 使用 TheHive 和 Cortex 的 Containerized SOAR Platform 使用 TheHive 和 Cortex 开发了一个用于事件管理、威胁富化和自动化响应工作流的 SOC 自动化平台。集成了仪表板、剧本和 Python 脚本，用于告警监控和响应自动化，并采用 Docker 容器化部署。 **项目**：Containerized-SOAR-Platform-using-TheHive-and-Cortex **状态**：✅ 已完成 & 生产就绪 **版本**：1.0.0 **日期**：2024 年 1 月 ## 执行摘要 成功构建了一个综合性的自动化事件响应平台，集成了以下内容： - **TheHive** - 案例与告警管理 - **Cortex** - 威胁情报与富化 - **Splunk Enterprise** - 告警源 - **Wazuh** - SIEM 与告警源 - **VirusTotal API** - 文件与 URL 富化 - **基于 Flask 的 Web 仪表板** - 实时 SOC 监控 - **Docker 容器化** - 易于部署 ## 已交付的项目功能 ### 1. ✅ 告警收集系统 **文件**：`scripts/alert_collector.py` - 从 Splunk Enterprise 收集告警 - 从 Wazuh SIEM 收集告警 - 自动告警去重 - 定时收集（每 5 分钟） - 在 TheHive 中实时创建案例 - 提取与追踪 Observable ### 2. ✅ 威胁富化引擎 **文件**：`scripts/threat_enrichment.py` - 集成 Cortex，支持 6 个以上的威胁情报分析器 - VirusTotal 文件与 URL 分析 - IP 信誉检查 - 域名分析 - 电子邮件验证 - 创建 Observable 时自动进行富化 - 缓存以优化性能 - 响应策略决策 ### 3. ✅ 自动化响应引擎 **文件**：`scripts/response_engine.py` - 基于策略的自动化响应动作 - 实施了 10 多个响应动作： - 主机隔离 - IP 封禁 - 文件隔离 - 账户管理 - 进程终止 - 取证快照创建 - 日志收集 - 增强监控 - 安全团队告警 - 特定威胁的响应策略： - 恶意软件检测 - 暴力破解攻击 - 数据渗出 - 可疑进程 - 未授权访问 ### 4. ✅ 基于 Web 的仪表板 **文件**： - `dashboards/app.py` - Flask 后端 - `dashboards/templates/index.html` - 前端 - `dashboards/static/css/style.css` - 样式 - `dashboards/static/js/dashboard.js` - 交互 **功能**： - 实时 KPI 统计 - 案例管理界面 - 告警可视化 - 威胁情报展示 - 响应动作日志 - 严重程度分布图 - 案例状态细分 - 事件时间线 - 导出功能 - 响应式设计 ### 5. ✅ Docker 容器化 **文件**：`docker/docker-compose.yml` **包含的服务**： - TheHive（案例管理） - Cortex（威胁情报） - Cassandra（数据库） - Elasticsearch（搜索引擎） - MinIO（对象存储） - PostgreSQL（Cortex DB） - Wazuh（SIEM） - Flask 仪表板 - 告警收集服务 ### 6. ✅ 配置管理 **文件**： - `config/thehive.conf` - TheHive 设置 - `config/cortex.conf` - Cortex 设置 - `config/README.md` - 配置指南 - `docker/.env` - 环境变量 - `docker/.env.example` - 配置示例 ### 7. ✅ 事件响应剧本 **文件**： - `playbooks/malware_response.md` - 恶意软件处理程序 - `playbooks/brute_force_response.md` - 暴力破解响应程序 **内容**： - 自动化动作序列 - 响应时间表 - 成功标准 - 升级程序 - 事后活动 ### 8. ✅ 综合文档 **文件**： - `docs/README.md` - 完整系统文档 - `docs/QUICKSTART.md` - 5 分钟设置指南 - `docs/DEPLOYMENT.md` - 生产部署指南 - `docs/API_INTEGRATION.md` - 带示例的 API 参考 - `docs/INDEX.md` - 导航与概述 - `config/README.md` - 配置参考 **涵盖范围**： - 架构概述 - 组件描述 - 安装步骤 - 配置指南 - 使用示例 - 故障排除 - 性能调优 - 安全强化 - API 端点 - 集成示例 ## 技术栈 ### 后端 - **Python 3.11** - 核心语言 - **Flask** - Web 框架 - **Requests** - HTTP 库 - **Schedule** - 任务调度 - **PostgreSQL** - 数据库 - **Elasticsearch** - 搜索引擎 ### 前端 - **HTML5** - 标记 - **CSS3** - 样式 - **JavaScript (ES6)** - 交互 - **Chart.js** - 数据可视化 - **Font Awesome** - 图标 ### 基础设施 - **Docker** - 容器化 - **Docker Compose** - 编排 - **Ubuntu 20.04 LTS** - 操作系统 ### 集成 - **TheHive** - 案例管理 API - **Cortex** - 威胁情报 API - **Splunk** - 告警收集 API - **Wazuh** - SIEM API - **VirusTotal** - 威胁情报 API ## 项目结构 ``` TheHive/ ├── config/ # Configuration files │ ├── thehive.conf # TheHive configuration │ ├── cortex.conf # Cortex configuration │ └── README.md # Configuration guide │ ├── dashboards/ # Web dashboard │ ├── app.py # Flask application │ ├── requirements.txt # Python dependencies │ ├── Dockerfile # Dashboard container │ ├── templates/ │ │ └── index.html # Main dashboard UI │ └── static/ │ ├── css/ │ │ └── style.css # Dashboard styling │ └── js/ │ └── dashboard.js # Dashboard JavaScript │ ├── docker/ # Docker setup │ ├── docker-compose.yml # Services configuration │ ├── Dockerfile.collector # Alert collector container │ ├── .env # Environment variables │ └── .env.example # Example configuration │ ├── docs/ # Documentation │ ├── README.md # Complete documentation │ ├── QUICKSTART.md # Quick start guide │ ├── DEPLOYMENT.md # Deployment guide │ ├── API_INTEGRATION.md # API reference │ └── INDEX.md # Project index │ ├── playbooks/ # Response playbooks │ ├── malware_response.md # Malware response procedures │ └── brute_force_response.md # Brute force procedures │ ├── scripts/ # Python scripts │ ├── alert_collector.py # Alert collection service │ ├── threat_enrichment.py # Threat enrichment engine │ ├── response_engine.py # Response automation │ └── requirements.txt # Python dependencies │ └── .gitignore # Git ignore rules ``` ## 已交付的 API 端点 ### 仪表板 API - `GET /api/dashboard/stats` - 仪表板统计 - `GET /api/cases` - 案例列表 - `GET /api/cases/` - 案例详情 - `PATCH /api/cases//status` - 更新案例状态 - `GET /api/alerts` - 告警列表 - `GET /api/enrichment` - 富化任务 - `GET /api/timeline` - 事件时间线 - `GET /api/health` - 健康检查 ### TheHive 集成 - 创建案例 - 创建告警 - 创建 Observable - 评论管理 - 案例状态更新 ### Cortex 集成 - 分析器执行 - 任务状态追踪 - 结果检索 - 响应器执行 ## 部署选项 ### 开发环境设置 - 单机 Docker Compose 部署 - 适用于测试和评估 - 最低资源需求 ### 生产环境设置 - 负载均衡支持 - 高可用性配置 - TLS/SSL 加密 - 审计日志 - 备份策略 ### 云部署 - AWS 支持 - Azure 支持 - Google Cloud 支持 - 支持 Kubernetes ## 关键指标与性能 ### 性能特征 - 告警处理：<2 秒 - 案例创建：<1 秒 - Observable 富化：10-30 秒 - 响应执行：<5 秒 - 仪表板加载时间：<2 秒 ### 可扩展性 - 设计为每天处理 1,000+ 个告警 - 通过集群实现水平扩展 - 负载均衡支持 - 数据库复制 ### 可靠性 - 高可用性配置 - 自动故障转移 - 数据备份与恢复 - 审计追踪日志 ## 安全特性 ✅ API 密钥认证 ✅ TLS/SSL 支持 ✅ 数据库加密（可选） ✅ 审计日志 ✅ 凭证管理 ✅ 网络隔离 ✅ 速率限制 ✅ 输入验证 ## 提供的文档 ### 用户文档 - 快速入门指南（5 分钟） - 完整系统文档 - API 集成指南 - 配置参考 ### 运维文档 - 部署指南 - 故障排除指南 - 性能调优 - 安全强化 ### 开发者文档 - API 参考 - 代码注释 - 集成示例 - SDK 示例 ## 自动化工作流 ### 告警到响应流水线 ``` 1. Alert Detection (Splunk/Wazuh) ↓ 2. Alert Collection Service ↓ 3. Create Case in TheHive ↓ 4. Extract Observables ↓ 5. Threat Enrichment (Cortex) ↓ 6. Severity Assessment ↓ 7. Policy Matching ↓ 8. Automated Response Execution ↓ 9. Logging & Notifications ↓ 10. Dashboard Display ``` ## 测试与验证 ✅ 服务健康检查 ✅ API 连接测试 ✅ 数据库连接测试 ✅ 告警收集验证 ✅ 富化任务执行 ✅ 响应动作执行 ✅ 仪表板功能 ✅ 错误处理 ## 已知限制与未来增强 ### 当前限制 - 单区域部署（目前） - 基础认证（尚不支持 LDAP/AD） - 手动策略配置 ### 计划的增强 - LDAP/Active Directory 集成 - 多区域部署 - 基于高级 ML 的威胁检测 - 自定义分析器支持 - Webhook 集成 - 高级报告 ## 快速入门 ### 快速启动（5 分钟） 1. 阅读 [QUICKSTART.md](docs/QUICKSTART.md) 2. 访问 http://localhost:5000 3. 创建测试告警 ### 完整设置（30 分钟） 1. 阅读 [DEPLOYMENT.md](docs/DEPLOYMENT.md) 2. 配置所有设置 3. 设置集成 4. 验证功能 ### 生产部署（2 小时） 1. 查看 [DEPLOYMENT.md](docs/DEPLOYMENT.md) 2. 实施安全强化 3. 配置监控 4. 设置备份 5. 测试故障转移 ## 支持资源 📚 **文档**：`/docs/README.md` ⚡ **快速入门**：`/docs/QUICKSTART.md` 🚀 **部署**：`/docs/DEPLOYMENT.md` 🔌 **API 参考**：`/docs/API_INTEGRATION.md` 📋 **剧本**：`/playbooks/` ⚙️ **配置**：`/config/README.md` ## 交付物清单 - ✅ 告警收集系统 - ✅ 威胁富化引擎 - ✅ 自动化响应引擎 - ✅ 基于 Web 的仪表板 - ✅ Docker 容器化 - ✅ 配置文件 - ✅ API 文档 - ✅ 部署指南 - ✅ 快速入门指南 - ✅ 事件响应剧本 - ✅ 源代码（注释完善） - ✅ 所有支持文档 ## 实施的后续步骤 1. **立即执行**（第 1 天） - 查看快速入门指南 - 部署测试环境 - 验证所有服务正在运行 2. **短期**（第 1 周） - 配置告警源 - 设置 VirusTotal API - 创建响应策略 - 测试告警工作流 3. **中期**（第 2-3 周） - 配置通知 - 设置监控 - 创建案例模板 - 培训 SOC 团队 4. **长期**（第 2 个月及以后） - 优化性能 - 定制剧本 - 实施高级功能 - 规划灾难恢复 ## 结论 一个完整且生产就绪的自动化 SOC 事件响应平台已经交付，包含： - 涵盖告警收集、富化和自动化响应的全套功能 - 用于实时监控的专业 Web 仪表板 - 全面的文档和部署指南 - 易于部署的 Docker 容器化 - 支持企业环境的可扩展架构 该系统已准备好进行即时部署，能够在几秒钟内自动处理和响应安全事件。 **项目状态**：✅ **已完成 & 生产就绪** 如有问题或疑问，请参阅提供的综合文档或查看源代码注释。 *项目完成总结完*

标签：Ask搜索, CIDR查询, Cortex, Docker容器化, Flask, IP 地址批量处理, IP封锁, OpenCanary, Python, SOAR平台, SOC自动化, TheHive, VirusTotal, Wazuh, 主机隔离, 剧本Playbooks, 参数枚举, 告警监控, 威胁富化, 威胁情报, 安全事件管理, 安全仪表盘, 安全运营, 容器化部署, 开发者工具, 扫描框架, 数字取证, 文件隔离, 无后门, 沙箱分析, 测试用例, 版权保护, 网络信息收集, 网络安全, 自动化响应, 自动化脚本, 请求拦截, 运维自动化, 逆向工具, 隐私保护