ayush-java/novasoc

# 🔐 NovaSOC ## 🚀 概述 本项目是一个完整的企业级网络安全平台，模拟了现实世界中的： - 安全运营中心 (SOC) - 安全信息和事件管理 (SIEM) - 安全编排自动化和响应 (SOAR) 系统使用： - AWS 云部署 - ELK Stack - Python 自动化 - 企业级仪表盘 - 实时遥测模拟 - 自动化事件响应 该平台能够检测威胁、可视化网络攻击、自动响应恶意活动，并在实时仪表盘中展示企业级安全分析。 ## 🎥 实时演示视频 请在此处观看完整的项目演练与实时演示： 👉 https://www.loom.com/share/8ba09c1b44544312844e2c3a4c1f96b5 演示内容包括： - 架构演练 - 实时攻击模拟 - 实时 SOC 遥测 - SIEM 分析 - MITRE ATT&CK 监控 - SOAR 自动化 - 云部署概述 - GitHub 仓库演练 ## ✅ 核心特性 - ✅ 实时威胁检测 - ✅ 自动化 SOAR 响应 - ✅ 企业级 Streamlit 仪表盘 - ✅ 实时 SOC 遥测 - ✅ 全球网络威胁地图 - ✅ MITRE ATT&CK 分析 - ✅ 实时事件动态 - ✅ 自动化 IP 封禁 - ✅ AWS EC2 云部署 - ✅ Docker 容器化基础设施 - ✅ 实时攻击模拟引擎 - ✅ PostgreSQL 遥测集成 - ✅ 托管在云端的实时部署 - ✅ 实时数据库驱动的分析 ## 🏗️ 架构  ``` Attacker Activity ↓ Linux Authentication Logs ↓ Filebeat ↓ Logstash ↓ Elasticsearch ↓ Python Detection Engine ↓ SOAR Automation ↓ IP Blocking + Incident Logging ↓ Streamlit Enterprise Dashboard ``` ## ⚙️ 技术栈 | 类别 | 技术 | |---|---| | 前端 | Streamlit | | 可视化 | Plotly | | 后端 | Python | | 数据库 | PostgreSQL | | SIEM | ELK Stack | | 云平台 | AWS EC2 | | 部署 | Render | | 容器 | Docker | | 检测引擎 | Python | | 自动化 | Python SOAR 脚本 | | 威胁分析 | MITRE ATT&CK | | 数据处理 | Pandas | # ☁️ 云部署 该平台已完全部署于： - AWS EC2 Ubuntu 服务器 - Docker 容器化的 Linux 环境 - 托管在公有云上的公开仪表盘 部署内容包括： - 实时监控 - SOAR 自动化 - 威胁分析 - 企业级安全可视化 - 实时遥测数据生成 ## 🌐 实时部署 实时仪表盘： 👉 http://23.20.45.8:8501/ 该仪表盘已公开部署，可通过 Render 云托管访问。 # 📊 仪表盘特性 ## 🖥️ 概览仪表盘 - 警报总数 - 威胁严重程度分析 - 攻击时间轴 - 全球威胁地图 - 攻击分布图 - 基于国家的威胁分析  ## 🌍 全球威胁情报地图 交互式网络威胁可视化，展示来自全球各国的模拟攻击。 特性： - 威胁来源 - 实时攻击可视化 - 地缘政治威胁模拟  ## 🚨 事件管理仪表盘 企业级事件管理面板，展示： - 活跃警报 - 事件遥测数据 - 攻击分类 - 封禁 IP 追踪 - 严重程度分析  ## 🧠 威胁情报仪表盘 MITRE ATT&CK 分析仪表盘，包含： - 攻击战术分布 - 严重事件分析 - 威胁情报洞察 - 目标服务监控  ## 🏗️ 基础设施仪表盘 基础设施监控面板，展示： - AWS EC2 状态 - Docker 容器健康状况 - 部署遥测数据 - SOC 流水线可视化  ## ⚡ 实时攻击模拟 定制构建的遥测引擎持续生成： - 模拟网络攻击 - 模拟威胁活动 - 动态事件流 - 逼真的 SOC 遥测数据 这将产生： - 实时仪表盘更新 - 逼真的监控环境 - 企业级 SOC 模拟行为  # 🚨 检测逻辑 检测引擎使用： - 基于阈值的检测 - IP 分组 - 时间窗口分析 - 严重程度评分 - 攻击分类 示例检测规则： - 超过 20 次 SSH 登录失败 - 在 5 分钟内 - 来自同一 IP → 自动触发 SOAR 响应 # ⚡ 自动化 SOAR 响应 当检测到攻击时： - 🚫 恶意 IP 被封禁 - 📝 记录事件日志 - 📊 仪表盘自动更新 - 🌍 威胁地图实时更新 - 🔥 警报出现在实时 SOC 动态中 # 🌍 全球威胁模拟 该平台模拟来自以下国家的真实网络攻击： - 俄罗斯 - 中国 - 伊朗 - 朝鲜 - 巴西 - 德国 - 美国 攻击类型包括： - SSH 暴力破解 - SQL 注入 - 恶意软件活动 - DDoS 攻击 - 端口扫描 - 权限提升 - 可疑登录活动 # 📁 项目结构 ``` soc-siem-threat-detection/ ├── config/ ├── data/ │ ├── alerts.json │ └── blocked_ips.txt ├── docs/ │ ├── architecture.png │ ├── OverviewTab.png │ ├── GlobalThreats.png │ ├── IncidentsTab.png │ ├── ThreatsTab.png │ ├── InfastructureTab.png │ └── LiveAttack.png ├── scripts/ │ ├── detect_bruteforce.py │ ├── block_ip.py │ └── auto_block.py ├── dashboard.py ├── db_writer.py ├── live_attack_generator.py ├── docker-compose.yml └── README.md ``` # 🧪 如何运行 ## 1. 克隆仓库 ``` git clone https://github.com/ayush-java/soc-siem-threat-detection.git cd soc-siem-threat-detection ``` ## 2. 创建虚拟环境 ``` sudo apt install python3.14-venv -y python3 -m venv venv source venv/bin/activate ``` ## 3. 安装依赖 ``` pip install -r requirements.txt ``` ## 4. 启动仪表盘 ``` python3 -m streamlit run dashboard.py --server.port 8501 --server.address 0.0.0.0 ``` ## 5. 启动实时遥测流水线 打开另一个终端： ``` source venv/bin/activate python3 live_attack_generator.py ``` 打开另一个终端： ``` source venv/bin/activate python3 db_writer.py ``` ## 这将持续生成模拟攻击，并将遥测数据写入 PostgreSQL，以便实时更新仪表盘。 # 🎯 学习成果 本项目演示了： - SOC 工程 - SIEM 架构 - SOAR 自动化 - 检测工程 - 威胁情报 - MITRE ATT&CK 分析 - Docker 容器化 - 云部署 - 网络安全仪表盘工程 - 安全分析 - 实时遥测系统 # 📌 未来改进 计划中的未来升级： - 机器学习异常检测 - Slack/电子邮件告警 - 防墙 API 集成 - 多云部署 - 威胁情报 API 丰富 - 身份验证系统 - 基于角色的访问控制 - 数据库支持的遥测存储 # 👤 作者 ## Ayush Velhal - 独立设计与实现 - 端到端架构与开发 - 云部署与仪表盘工程 - 检测工程与 SOAR 自动化 - 前端仪表盘可视化与分析 # ⭐ 结语 本项目通过整合以下内容，模拟了一个现代企业级网络安全监控环境： - 云基础设施 - SIEM 流水线 - 自动化 SOAR 响应 - 实时遥测 - 全球威胁情报 - 企业级仪表盘 - 自动化事件响应 最终形成了一个完全集成的实时 SOC 平台。

标签：AMSI绕过, ATT&CK监控, AWS, Docker, DPI, EC2, Elasticsearch, ELK Stack, Filebeat, IaC, IP封禁, Kubernetes, Logstash, NIDS, OISF, PE 加载器, Plotly, PostgreSQL, Python, SOAR, Streamlit, 云部署, 企业级安全, 内容过滤, 威胁地图, 威胁情报, 威胁检测, 子域名变形, 安全仪表盘, 安全信息与事件管理, 安全运营中心, 安全防御评估, 实时遥测, 容器化, 开发者工具, 搜索引擎爬取, 无后门, 日志管理, 测试用例, 网络安全, 网络攻击模拟, 网络映射, 自动化响应, 访问控制, 请求拦截, 逆向工具, 隐私保护